[发明专利] 一种基于多特征融合的深度伪造识别方法和装置 – CN114067381A 全文链接一   全文链接二

 
基本信息
申请号
CN202110473432.4
申请日
20210429
公开(公告)号
CN114067381A
公开(公告)日
20220218
申请(专利权)人
中国科学院信息工程研究所;深圳市大数据研究院
申请人地址
100093 北京市海淀区闵庄路甲89号
发明人
操晓春;韩冰;韩晓光;张华;李京知 专利类型 发明专利
摘要
本发明公开了一种基于多特征融合的深度伪造识别方法和装置。主要步骤包括:(1)对视频进行分段提帧并进行人脸对齐预处理;(2)采用RGB输入流和可学习SRM输入流共同对视频帧进行处理;(3)RGB输入流对视频帧进行特征提取并进行帧间融合;(4)可学习SRM输入流去除经典SRM算法的不可导部分,将超参数q替换成30个5*5的可学习矩阵并初始化;(5)将经典SRM算法中的30个预设参数的SRM滤波器转换为可学习的SRM卷积核并插入到(3)中的识别网络,构成可学习SRM网络;最后对RGB流和可学习SRM流的输出进行融合,得到最终识别结果。本发明可以有效提高在低清晰度视频上的深度伪造识别效果。
主权项
1.一种基于多特征融合的深度伪造识别方法,其特征在于,包括以下步骤:将输入视频平均分成若干视频段,对于每个视频段随机采样若干视频帧,对选取的各视频帧进行人脸检测和人脸对齐,作为输入视频帧;采用RGB输入流和可学习SRM输入流分别对输入视频帧进行处理,其中RGB输入流提取视频帧中可疑伪造部位的语义特征并根据语义特征得到深度伪造识别的预测结果,可学习SRM输入流拟合视频帧中可疑伪造部位的噪音特征并根据噪音特征得到深度伪造识别的预测结果;将RGB输入流的预测结果与可学习SRM输入流的预测结果进行融合,得到最终的深度伪造识别结果。

 

 
IPC信息
IPC主分类号
G06V40/16
G 物理

G06 计算;推算;计数

 

 
法律状态信息
法律状态公告日
20220218
法律状态
公开 法律状态信息
CN202110473432 20220218 公开 公开

 

 
代理信息
代理机构名称
北京君尚知识产权代理有限公司 11200
代理人姓名
邱晓锋