0%

论文笔记:Beyond the Prior Forgery Knowledge Mining

Abstract

以前方法存在的问题:

都只是为了捕获特定的伪造线索,比如噪声(noise patterns), 混合边界(blending boundaries)和频率(frequency artifacts),导致容易陷入局部最优,从而降低鲁棒性和泛化能力

创新点

提出CFM框架,原文which can be flexibly assembled with various backbones to boost their generalization and robustness performance,那么是一种模块吗?

CFM框架组成(先把原文放在这,看后面怎么说)

首先构建了一个细粒度的三元组,并通过先验知识不可知的数据增强来抑制特定的伪造痕迹

Specifically, we first build a fine-grained triplet and suppress specific forgery traces through prior knowledge-agnostic data augmentation

随后,我们提出了一个细粒度的关系学习原型,通过实例和局部相似感知损失来挖掘伪造中的关键信息

Subsequently, we propose a fine-grained relation learning prototype to mine critical information in forgeries through instance and local similarity-aware losses

此外,我们设计了一种新颖的渐进式学习控制器来引导模型专注于主要特征组件,使其能够以从粗到精的方式学习关键伪造特征

Moreover, we design a novel progressive learning controller to guide the model to focus on principal feature components, enabling it to learn critical forgery features in a coarse-to-fine manner

INTRODUCTION

研究背景:

以常见的4种伪造手段Deepfakes , Face2Face ,FaceSwap and NeuralTextures为代表的深度伪造技术不断发展,并且越来越多现成的伪造软件被开发被人利用,导致了严重的金融欺诈,假新闻和身份假冒。

早期检测

生物信息,比如眨眼,头部位置不一致和面部扭曲伪影,效果差

基于深度学习的检测,泛化性差

基于深度学习与捕获先验已知的特征,对图像失真的鲁棒性差

目标

抗过拟合的同时挖掘出尽可能多的伪造线索

实现

数据集准备

利用先验知识不可知的数据增强来防止模型陷入局部最优,并驱动模型学习更广义的伪造知识;

学习框架

引入细粒度三元关系学习方案,使模型能够学习更多的固有特征表示

正则化方案

用PLC正则化

目标函数

实例相似度感知损失和局部相似度感知损失来同时学习全局关键特征和局部细微伪影

基于EfficientNet-B4的不同线索提取器的注意图

上图每个部分图像第一列是不同形式伪造的图片

提取特征的主干网络都是EfficientNet-B4(可以换成线性transformer试试)

第二列是用普通卷积层提取出的基本伪造特征

第三列是用低频提取出的噪声线索

第四列是用本文提出的CFM框架提取出的关键伪造线索

a部分的图像并没有经过任何变换,b部分的图像经过了下采样,c部分的图像加入了高斯噪声,对比可以看出根据基础线索(估计即使边界)和根据频率线索的检测都受到了干扰

RELATED WORK

A. Prior Knowledge-Based Face Forgery Detection

缺点:抗扰动性差

B. Face Forgery Detection via Representation Learning