DepFake相关
Deepfake概述
Deepfake概述
- 2017年，一位昵称为“Deepfakes”的用户在知名论坛Reddit上发布了一张“盖尔·加朵”的合成图片。
- DeepFake=Deep+Fake，Deep Learning techniques + traditional face forgery techniques.
面临的机遇和挑战
机遇
- 开源程度很高：代码Demo唾手可得；
- 容易制作：自己动手，丰衣足食，人人都是Deepfaker；
- 应用广泛：电影，娱乐，游戏；
- 发展潜力巨大：无限的应用场景和潜力。
挑战
- 开源程度很高：代码Demo睡手可得，知识产权和隐私保护差；
- 容易制作：自己动手，胡作非为，坏人都是Deepfaker；
- 应用广泛：电影，娱乐，游戏；
- 发展潜力巨大：无限的应用场景和潜（钱）力。
可行的解决方案
Deepfake检测的本质就是判断视频/图片真还是假，即一个二分类问题。
基于手工的特征
- 眨眼检测
- 深度信息
- 视觉伪影
- 残差信息
基于学习的特征
- 图像空域
- 视频时域
- 图像频域
- 伪造取证
Sota解决方案
- Oian et al."Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues "
- Rossler et al,"FaceForensics: A Large-scale Video Dataset for Forgery Detection in Human Faces"
- Masi et al,"Two-branch Recurrent Network for Isolating Deepfakes in Videos"
- Li et al,"Face X-ray for More General Face Forgery Detection"
- Qiet al,"DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms"
- Honggu Liu al,“Spatial-Phase Shallow Learning:Rethinking Face Forgery Detection in Frequency Domain”
不足
- Problem 1：可迁移性差，缺乏解决源-目标失配问题的能力。
- Problem 2：鲁棒性差，缺乏真实复杂场景下的检测能力。
总结与展望
总结
-
Deepfake 检测仍然是一个未被解决的问题；
-
无论是生成还是检测，目前都缺乏统一有效的评价度量机制；
较差的可解释性。
展望
- 根据不同的场景去重新定义检测问题；
- Deepfake生成方法的发展以提供更加高质量的数据集；
- 传统数字取证在Deepfake检测的应用；
- Deepfake相关管控制度的规范化，合法使用Deepfake，保护隐私和知识产权。