[发明专利] 用于深度学习模型的三段式训练方法 – CN114118272A 全文链接一   全文链接二

 
基本信息
申请号
CN202111425140.X
申请日
20211126
公开(公告)号
CN114118272A
公开(公告)日
20220301
申请(专利权)人
中国科学院长春光学精密机械与物理研究所
申请人地址
130033 吉林省长春市经济技术开发区东南湖大路3888号
发明人
黄良;王晓峰;韩诚山 专利类型 发明专利
摘要
本发明提出了一种用于深度学习模型的三段式训练方法,根据深度学习模型内部参数是否具有明确实际意义将其划分为两大部分,并且将整个训练过程分为三个阶段,在每个阶段都分别固定一部分参数,训练另一部分参数,对具有明确实际意义的参数给予额外的关注,用更多的人工介入来使深度学习模型获得更快的训练速度和更好的应用效果。本发明提供的用于深度学习模型的三段式训练方法在训练模型时收敛速度快,训练时间短,并且所得模型的性能与全局最优解差距小。
主权项
1.一种用于深度学习模型的三段式训练方法,其特征在于,包括如下步骤:S1、对深度学习模型中的参数进行分类,将所述深度学习模型中的参数划分为有明确实际意义的第一参数集合和无明确实际意义的第二参数集合;S2、固定所述第一参数集合中的参数,对所述深度学习模型中的参数进行初始化,使用训练数据集对所述深度学习模型进行第一阶段训练,通过第一阶段训练所获得的参数来更新所述第二参数集合中的参数,更新后的所述第二参数集合中的参数将被载入至所述深度学习模型中的相应位置;S3、固定所述第二参数集合中的参数,使用所述训练数据集对所述深度学习模型进行第二阶段训练,通过第二阶段训练所获得的参数来更新所述第一参数集合中的参数,更新后的所述第一参数集合中的参数将被载入至所述深度学习模型中的相应位置;S4、固定所述第一参数集合中的参数,使用所述训练数据集对所述深度学习模型进行第三阶段训练,通过第三阶段训练所获得的参数来更新所述第二参数集合中的参数;S5、筛选出第三阶段训练中验证精度最高值所对应的参数,并载入至所述深度学习模型中,获得完成三阶段训练后的深度学习模型。

 

 
IPC信息
IPC主分类号
G06K9/62
G 物理

G06 计算;推算;计数

G06K 数据识别;数据表示;记录载体;记录载体的处理

G06K9/62 应用电子设备进行识别的方法或装置(学习机入G06F15/18;数字相关性法入G06F17/15;模拟相关性入G06G7/19)〔3〕

 

 
法律状态信息
法律状态公告日
20220301
法律状态
公开 法律状态信息
CN202111425140 20220301 公开 公开

 

 
代理信息
代理机构名称
长春中科长光知识产权代理事务所(普通合伙) 22218
代理人姓名
高一明