2024年3月14日，美国防高级研究计划局（DARPA）启动两项新工作，旨在提高应对媒体操纵的防御能力，从而保护工业界、学术界等更广泛地社区免遭操纵媒体的威胁。

两项工作分别为：一是在DARPA“语义取证”（SemaFor）项目的开源资源下，设计出一个分析目录，供研究人员和业界使用；二是启动“AI取证开放式研究挑战评估”（AI FORCE）工作，旨在开发新型机器学习/深度学习模型，以准确检测AI生成的合成图像。本文根据相关公开信息梳理DARPA最新工作进展情况。

DARPA应对媒体操纵又有新动作，启动两项新工作

编译：奋斗小青年 佑溪‍‍

全文摘要与关键词

1. DARPA语义取证（SemaFor）项目：

①重点开发三个特定算法：语义检测算法，归因算法，表征算法→识别纂改内容+对手溯源+恶意性质判断

②学界业界多个团队支撑：Kitware公司、普渡大学、SRI国际和加州大学伯克利分校四家牵头；洛·马、埃森哲、谷歌/卡拉、英伟达等支撑（目标达到针对篡改图像90%检测率等）

③项目进入成果收尾+技术的商业转化阶段：两项措施推广技术应用（一是发布分析编目列出开源工具供业界使用；二是开展“AI取证开放研究挑战性评估”工作，开发新型ML/DL模型，检测AI合成图像）

2. 评述：DARPA“语义取证”项目及取得的研究成果为应对受操纵媒体威胁提供了必要的技术条件和方法，其近期新行动将通过成果的商业转化，加强美国工业家、学术界等民间机构与社区应对媒体操纵的整体防御能力。

打击虚假信息活动因技术的快速发展屡遭失败。随着人工智能等技术不断进步，敌对国家越来越多地利用“深度伪造”媒体及其他虚假信息传播手段操控美国公众看法。恶意行为者获得相关技术也越来越容易，能更容易地对美国发起强有力的虚假信息攻击活动。行业及学术界提出了利用统计方法判断视频或图像是否遭到篡改的技术，但现有工具将可能会因篡改技术的快速发展而失效。

DARPA另辟新径：检测遭篡改媒体中的“语义错误”，只要计算机能识别出这样的错误，就可判断出其分析的媒体已遭篡改，并标记出需要人类分析师后续细致处理的内容。除了识别伪造媒体以外，DARPA还期望相关技术能通过伪造或篡改特征来识别媒体作者的真实身份，并确定这些伪造内容是否已被用于实施虚假信息攻击。为此，DARPA启动了“语义取证”项目。

1 “语义取证”（SemaFor）项目

2019年8月，DARPA发布“语义取证”（Semantic Forensics，SemaFor）项目公告。

1.1 研究目标

该项目旨在通过开发能够自动检测、归因和表征伪造媒体资产特征的技术，让分析人员在检测者和操纵者之间的斗争中取得优势。

1.2 主要内容

该项目有四个技术领域（TAs），如图1所示。

技术领域一（TA1）：多模态媒体内容的检测、归因和表征，将签订多份合同；

技术领域二（TA2）：解释和整合，将把结合TA1的研究成果整合起来，给出解释，以支持系统决策，并将相关内容按权重排列起来，供分析人员审查。该技术域还将开发SemaFor系统原型；

技术领域三（TA3）：评估，将生成用于评估的多模态内容，设计评估方法，确立人类表现基线，形成指标体系；

技术领域四（TA4）：组织相关挑战活动，即不断用最先进的挑战性问题检验TA1和TA2的研发成果，并开发具有前瞻性的威胁模型，预判将来的威胁，确保SemaFor项目研发的效果。

图1“语义取证”项目的四个技术领域

该项目重点开发三种特定类型的算法。

  • 语义检测算法（semantic detection algorithms）用于确定多模式媒体内容是否被生成或篡改；

  • 归因算法（attribution algorithms）将推断多模态媒体是否来自特定组织或个人；

  • 表征算法（characterization algorithms）将推断多模态媒体是否出于恶意目的而生成或操纵。

该项目提出了一些量化指标，例如对于图像遭篡改，最终要求成功检测率达90%且误报率不超过5%。

1.3 支撑团队

四支研究团队牵头

2021年3月，DARPA宣布“语义取证”项目由Kitware公司、普渡大学、SRI国际和加州大学伯克利分校牵头的四支研究团队开展。四支团队将重点开发三种特定类型的算法：语义检测、归因和表征算法。这些算法将帮助分析人员筛选和区分审查媒体，了解藏在操纵背后的原因、方法等。

其他支撑团队

  • 洛克希德·马丁公司先进技术实验室：负责审查，为媒体分析人员提供一个可以被理解的解释，开发相应的技术来自动组合和管理由检测、归因和表征算法提供的证据，并开发“语义取证”系统样机；

  • 埃森哲联邦服务公司、谷歌/卡拉软件、纽约大学、英伟达和系统与技术研究公司组成的团队：将确保能力紧跟媒体内容篡改的潜在威胁和应用，确定威胁的特征，并根据对手可能的行为设计挑战问题；

  • 谷歌/卡拉软件：提供对大规模互联网平台的虚假信息威胁的观点；

  • 英伟达：提供媒体生成算法和对即将到来的硬件加速技术的潜在影响的见解；

  • 纽约大学：提供与纽约市媒体实验室和广泛的媒体生态的联系。这个生态将提供关于媒体版图演化，以及它如何被恶意操纵者利用的洞见；

  • 埃森哲联邦服务公司：对将“语义取证”在打击海外虚假信息方面处于领先地位的美国国务院全球接触中心进行应用提供评估、联系和操作可行性鉴定；

  • 帕泰政府系统公司：为了确保开发中的工具和算法拥有充足的相关培训数据，该公司负责数据策划和评估工作，负责进行定期的大规模评估，以衡量该项目所开发能力的性能。

1.4 项目进展

两项措施推广“语义取证”技术应用。目前，SemaFor项目已处于最后阶段，为推进该项目成果的转化应用，DARPA推出两项措施：

一是发布分析编目，其中列出了SemaFor项目所研发的多项开源工具，供研究人员和业界使用；

二是开展“AI取证开放研究挑战性评估”（AI FORCE）工作，即开发新型的机器学习/深度学习模型，以准确检测出由AI生成的合成图像。

AI FORCE工作进展：AI FORCE已于2024年3月18日开始接受报名，计划开展4项挑战赛，第一项将在5月6-31日进行，主题是“检测由AI生成的图像”；第二项将在6月3-26日进行，主题是“对AI生成的图像进行归因”；第三项将在7月开展，主题是“对合成的头部特写视频的归因”（Avatar Attribution Synthetic Talking-Head Videos）；第四项将于8月开展，主题是“检测由AI生成的合成音频”。

该项目研发周期计划为48个月，分三个阶段，分别用时18个月、18个月、12个月。

2 评述

应对受操纵媒体威胁，需要媒体组织、研究和开发人员、政策制定者以及商业部门共同努力开发和部署解决方案。

DARPA开发的“语义取证”项目及取得的研究成果为应对受操纵媒体威胁提供了必要的技术条件和方法。

DARPA新启动的两项工作能力将推动“语义取证”项目研究成果的商业转化，为积极参与构建“支持捍卫数字世界真实性”生态系统持续发力，有利于保护工业界、学术界等更广泛的社区不受操纵媒体威胁。

同时，也体现出DARPA履行其“通过研发和验证突破性技术，揭示新的可能性并实现开天辟地的能力”的重要使命。

参考文献：

https://executivegov.com/2024/03/darpa-launches-2-new-efforts-to-boost-defenses-against-manipulated-media/

https://sam.gov/api/prod/opps/v3/opportunities/resources/files/5969fe9e5175606ff64d0b7858f6f9ca/download?&status=archived&token=

声明：本文来自认知认知，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。