AI换脸，也称为“深度伪造”（Deepfake），是一种利用人工智能技术将人脸替换到另一个人的脸部上的技术。“深度伪造”技术涉及多种技术和算法，可以生成非常逼真的图像或视频。将“深度伪造”的虚假内容与真实信息的元素拼凑在一起，就可以用于可以伪造身份、传播错误信息、制作虚假数字内容，进行各类欺诈。
毕马威一份报告显示，在线提供的“深度伪造”视频同比增长了900%。另据 Home Security Heroes 研究发现在 95,820 个“深度伪造”在线视频中，98% 被归类为 色情内容。而这些“深度伪造”的视频中有 99% 以女性为主题， 94%的主角是娱乐行业从业者。网络安全提供商ESET调查发现，英国61%的女性担心成为深“深度伪造”色情内容的受害者。
顶象防御云业务安全情报中心发布的《“AI换脸”威胁研究与安全策略》 情报专刊显示，“深度伪造”泛滥的另一个主要因素是工具的可用性，这些工具使创建虚假视频图片变得更容易。Home Heroes 的调查显示，目前市场上至少有42种易于使用的工具可用于制作“深度伪造”，这些工具每月在网上被搜索约数千万次。此外，随着网络犯罪即服务（Cybercrime as-a-Service）的出现，普通人也可以轻松购买到“深度伪造”的服务或技术。
如何防止AI制作的色情视频扩散？
攻击者利用社交媒体、电子邮件、远程会议、网络招聘、新闻资讯等一系列媒介，对企业和人进行各类“深度伪造”欺诈攻击。
《“AI换脸”威胁研究与安全策略》 情报专刊认为，要防范打击“深度伪造”欺诈，一方面需要有效识别检测出“深度伪造”伪造的内容，另一方面防范“深度伪造”欺诈的利用和扩散。这不仅需要技术对策，也许需要复杂的心理战和公众安全意识的提升，更少不了监管部门对于深度伪造”色情视频制作者的处罚。
个人防范信息被盗用复制。杜绝在社交媒体上分享个人照片、声音和视频等，减少账户、家庭家人、交通出行、工作岗位等敏感信息，防范欺诈分子盗用下载后，进行身份的伪造。一旦发现“深度伪造”的虚假视频和图片，迅速向社交媒体管理员和执法部门报告。
AI工具增强人脸安全使用。《欧盟人工智能法案》要求生AI工具的提供者有义务以允许检测合成/虚假内容的方式设计这些工具、增加数字水印、及时限制用于验证个人身份的数字身份证等。AI 水印的工作原理是将独特的信号嵌入到人工智能模型的输出中，此信号可以是图像或文本，旨在将内容标识为 AI 生成的内容，以帮助他人识别有效识别。
社交媒体遏制色情视频传播扩散。社交媒体平台通常将自己定位为仅仅是内容的渠道，澳大利亚竞争和消费者委员会 （ACCC） 认为，Facebook应该作为骗局的从犯承担责任，平台应该负责及时删除用于欺诈目的的“深度伪造”内容。
YouTube 规定，任何将视频上传到平台的人必须披露合成媒体的某些用途，以便观众知道他们所看到的不是真实的，以降低“深度伪造”视频的欺诈利用。同时，在 Facebook 上，任何 “深度伪造”生成的内容都可能显示一个图标，清楚地表明内容是用人工智能生成的。
媒介服务提升人脸应用保障。顶象全链路全景式人脸安全威胁感知方案，能够有效检测识别“深度伪造”的虚假视频和虚假图片。它针对人脸识别场景及关键操作的实时风险监测（如摄像头遭劫持、设备伪造、屏幕共享等），然后通过人脸环境监测、活体识别、图像鉴伪、智能核实等多维度信息进行核验，发现伪造视频或异常人脸信息后，可自动阻断异常或欺诈操作。
搭建多渠道全场景多阶段防护的安全体系。覆盖各渠道平台和各业务场景，提供威胁感知、安全防护、数据沉淀、模型建设、策略共享等安全服务，能够满足不同业务场景，拥有各行业策略且能够基于自身业务特点实现沉淀和更迭演进，实现平台的精准防控，从而快速有效地应对 “深度伪造”攻击，进行个性化防护。顶象最新升级的反欺诈技术与安全产品，为企业搭建一个多渠道全场景多阶段的安全体系，以系统对抗AI带来新威胁，包含：自适应混淆加固的iOS加固、能够生成无限图片的无感验证、支持跨平台统一设备信息的设备指纹、能够拦截复杂攻击挖掘潜在威胁的Dinsight风控引擎等。
监管部门加强“深度伪造”色情视频的制作和扩散处罚。通过对“深度伪造”创建或传播深度伪造的个人施加法律后果，可以阻止有害内容的扩散，并让肇事者对其行为负责。对“深度伪造”欺诈定性刑事犯罪可以起到威慑作用，防止将这项技术滥用于欺诈或其他恶意目的，是减轻“深度伪造”技术有害影响的一种有效方法，必须对那些故意制造或促进有害深度伪造传播的人处以刑事处罚。
