近日,因安全团队核心人员离职而深陷信任危机的OpenAI发布了最新的安全报告,宣称在过去三个月中挫败了五个利用ChatGPT操控舆论的黑客组织APT行动(舆论黑客)。

OpenAI将操控舆论的影响力活动(IO)定义为“试图以欺骗的方式操纵舆论或影响政治结果,而不揭露背后行为者的真实身份或意图”。

在报告中,OpenAI宣称成功识别并阻止了五起来自俄罗斯、伊朗和以色列等国的影响力行动,这些行动均利用了OpenAI的人工智能工具ChatGPT。

“舆论黑客”攻击成效不及预期

舆论操控和内容安全是人们最担忧的两大人工智能威胁,尤其是国家黑客组织利用ChatGPT-4o为代表的多模态大模型进行大规模的,跨平台、跨国界的意识形态渗透和社交媒体舆论操控。

据OpenAI报告,这些“舆论黑客”行动主要利用人工智能生成大量社交媒体帖子和评论等文本内容,同时还进行了一些辅助性的工作,例如通过调试代码来提高生产力。

但是,根据布鲁金斯突破量表(Brookings Breakout Scale)的评估,这些“舆论黑客”行动的评分均未超过2分,目前尚未取得显著成效。

布鲁金斯突破量表用1-6分来衡量影响力行动的影响范围,其中1分表示仅限于单个社区或平台,6分则意味着引发了政策干预或其他具体行动,例如暴力事件。2分意味着影响力行动跨越了单个平台中的多个社区,或者影响了多个平台中的单个社区。

五大舆论黑客攻击活动

报告指出,虽然“舆论黑客”来自全球各地,但本质上却非常相似,主要利用ChatGPT为多平台生成多语言版本的内容(账户、文章、评论、标签等),以下为报告调查的五大“舆论黑客”行动:

  • “垃圾伪装(Spamouflage)”。该行动利用OpenAI的工具进行代码调试、社交媒体活动研究,并用多种语言在X平台、Medium和Blogspot发布内容。

  • 俄罗斯的“语法错误(Bad Grammar)”。一个来自俄罗斯的新威胁组织,主要针对Telegram平台的东欧和美国用户。它也利用人工智能来调试用于运行Telegram机器人的代码,并用英语和俄语生成Telegram上的政治评论。

  • 俄罗斯的“变形金刚(Doppelganger)”。这个俄罗斯组织利用人工智能在X平台和9GAG上用五种欧洲语言发布评论,生成标题,并将新闻文章翻译、编辑并转换成Facebook帖子。

  • 伊朗的“国际虚拟媒体联盟(IUVM)”。利用人工智能为其网站生成和翻译文章、标题和网站标签。

  • 以色列的“零点禅(Zero Zeno)”行动。由位于特拉维夫的政治营销和商业情报公司Stoic运营。Stoic利用OpenAI为Instagram、Facebook、X平台和其他网站生成文章和评论。Meta公司最近在其“对抗性威胁报告”中也点名了Stoic。报告显示,Meta删除了与Stoic关联的510个Facebook账户、32个Instagram账户、11个页面和1个群组。Stoic的各个Instagram账户只有大约2000个关注者,Facebook页面约有500个关注者,其Facebook群组的成员人数不足100人。

为了打击人工智能的滥用,OpenAI在一份更详细的报告中透露正在与传媒、社交网站和科技行业合作伙伴合作,并利用舆论黑客的威胁活动来设计更安全的用户平台。该公司还表示正在“投资于技术和团队,以识别和阻止恶意行为者,以及利用人工智能工具来帮助打击滥用行为。”报告并未进一步详细说明OpenAI采取了哪些具体措施来阻止和打击恶意行为者,

舆论黑客的四大攻击趋势

OpenAI在报告中透露,根据自身调查以及开源社区的工作,发现舆论黑客使用(类似ChatGPT的)大语言模型进行的隐蔽宣传活动呈现四大趋势:

  • 内容生成:所有舆论黑客都利用OpenAI的服务生成大量文本(偶尔还包括图像),并且语言错误比仅靠人工操作者要少得多。

  • 融合新旧:所有这些行动都不同程度地使用了人工智能,但没有一个行动只使用人工智能。相反,人工智能生成的内容只是他们发布的众多内容类型之一,其他类型包括更传统的形式,例如手动编写的文本或从互联网上复制的模因。

  • 伪造参与度(人气):OpenAI瓦解的一些活动利用ChatGPT在社交媒体上营造用户参与热度的假象。例如,用人工智能生成内容回复或评论自己的帖子。

  • 提高效率:许多舆论黑客都尝试利用ChatGPT来提高效率,例如总结社交媒体帖子或调试代码。

舆论黑客的五大防御趋势

OpenAI在报告中指出,虽然关于人工智能的潜在应用的讨论的大多关注攻击侧,但是人工智能也为防御者提供了优势。例如人工智能技术大大提高了OpenAI的调查效率,以下为人工智能提高内容安全防御能力的五大趋势:

  • 防御设计:OpenAI通过内容安全系统给攻击者制造麻烦,这也是OpenAI负责任地部署人工智能的方法。例如,OpenAI多次观察到ChatGPT拒绝生成舆论黑客要求的文本或图像。

  • 人工智能增强调查:OpenAI基于此前使用GPT-4进行内容审核和网络防御的方法,又开发了新人工智能工具来提高(用户会话内容的)检测和分析效率。得益于新的工具,此次报告的调查耗时仅数天,而不是数周或数月。随着模型的改进,OpenAI将继续利用其功能来改进调查。

  • 分发很重要:与传统的内容形式一样,人工智能生成的内容也必须进行分发才能到达受众。这些舆论操控行动在各种平台上发布内容,包括X、Telegram、Facebook、Medium、Blogspot和较小的论坛,但截至调查结束没有一个活动成功吸引大量受众。

  • 行业共享的重要性:为了提高对舆论黑客行为的防御和反击能力,OpenAI与业界同行分享了详细的威胁指标。OpenAI自己的调查也受益于研究社区多年来的开源分析。

  • 人为因素:人工智能可以改变人类操作者使用的工具包,但它不会改变操作者本身。OpenAI的调查表明,攻击者与前几代人一样容易犯人为错误。例如,(因为疏忽)将ChatGPT的拒绝消息发布在社交媒体和他们的网站上。虽然攻击工具在不断进化,但是黑客活动的运营和决策者的人性弱点和局限性并没有变。

参考链接:

https://openai.com/index/disrupting-deceptive-uses-of-AI-by-covert-influence-operations/

声明:本文来自GoUpSec,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。