最近，一个化名“Nea Paw”的神秘开发者/团队利用ChatGPT等工具打造出一款名为“CounterCloud”的人工智能宣传机器，展示了人工智能在传播虚假信息方面的可怕潜力。该系统可以7×24小时不停运转，每月的运营成本不到400美元。该平台已于今年5月成功用来在评论区反驳俄罗斯媒体、俄罗斯大使馆和中国新闻媒体抨击美国的推文。
此外，11月5日，马斯克xAI公司也发布其AI聊天机器人“Grok”，可实现与社交媒体平台X的实时连接。
可见，以人工智能为关键技术的大语言模型与聊天机器人，不仅发展出更高的自主性，还逐渐深入参与到新闻媒体与社交媒体平台互动中。未来或将对媒体舆论与公众认知导向造成更具有颠覆性的影响，使得“影响力机器”更加智能化、规模化，其影响方式也更加潜移默化。
CounterCloud：两个月打造出的AI虚假信息系统
作者：爱吃蛋炒饭的加菲，东山月
全文摘要与关键词
1.人工智能宣传机器“CounterCloud”
协助写作、虚构故事、创造历史，内容信服度2个月已高达90%，已具备自主回应国外信息的能力，未发布至互联网，完整的宣传制作流程，成功嵌入意识形态倾向
2. 马斯克xAI公司发布AI聊天机器人“Grok”，可与社交媒体平台X实时连接（11月5日）
3.人工智能驱动的事实核查工具：4个类别（文本、图像、视频、检测机器人活动）11个主要工具介绍
“Nea Paw”声称自己是网络安全专业人员。在YouTube上发布的视频中，他表示，想要了看到“AI假信息在现实世界中的运行”，并描述了CounterCloud”项目的实现过程和目的。
制作虚假信息的两种形式
协助写作。大型语言模型具有阅读和撰写假新闻的强大语言能力，Paw开始将“对立”文章输入ChatGPT，并设定提示语指示其生成反驳文章。AI机器人会以不同风格和观点生成同一文章的不同版本。
虚构故事，创造历史。Paw称，人工智能的功能不仅仅是协助写作。它甚至可以生成虚构的故事，创造历史事件，并对原创内容的真实性提出质疑。这展示了人工智能在制作吸引读者注意力的引人入胜的叙述方面的力量和多功能性。
增强虚构叙述真实性的三个手段
看门人模块。Paw 结合了一个看门人模块来增强捏造的叙述的真实性。该模块确保人工智能仅对被认为最相关的内容做出响应。
利用真实播音员音频。Paw 令人印象深刻地利用了新闻播音员讲述人工智能生成的文章的音频片段，以及巧妙处理的图像，以提高其内容的真实性和可信度。
虚构人物简介+虚假评论。除此之外，他们甚至创建了虚构的记者简介，并在特定文章下面插入了虚假评论。这种对细节的关注增强了他们工作的可信度和可靠性。
内容信服度2个月已达 90%
在两个月时间里，这个AI系统每天24个小时不断的运行，“90%的时间生成令人信服的内容。
已经具备可独立回应国外信息的能力
5月，俄罗斯国有媒体卫星通讯社国际频道发布了一系列推文，抨击美国外交政策，并抨击拜登政府。每一条都引发了Counter Cloud系统的简短但精心策划的反驳，有时还包括相关新闻或观点文章的链接。此外，CounterCloud系统还对俄罗斯大使馆和中国新闻媒体批评美国的推文做出了类似的回应。其反击材料中使用的推文、文章，甚至记者和新闻网站都完全是由人工智能算法制作的。
CounterCould 相关技术细节
系统运行基础。CounterCloud运行在一个小型亚马逊云实例（Instances）上，后端是托管在WordPress上的网站，具有非常通用的新闻模板。
宣传制作流程（大模型-关键词-抓取-ai生成文章-发布-虚假评论-分享）。CounterCloud调用的大语言模型包括Vicuna 和 Wizard等开源模型以及ChatGPT 3.5 和 ChatGPT 4等闭源模型，大语言模型自动寻找特定出版物、记者的文章或 CounterCloud所设定的关键词，然后通过看门人模块决定是否抓取该内容。当人工智能选择该内容后会撰写一篇反驳文章，之后该内容将发布到由 WordPress托管的CounterCloud网站上。之后还会在某些文章下面生成虚假读者的虚假评论，以使其看起来像是有观众。然后，人工智能会访问 X 平台搜索相关的帐户和推文，然后发布人工智能生成的文章的链接或者看起来像用户评论、阴谋论甚至仇恨言论等内容的帖子。
“实战”测试中嵌入意识形态倾向。CounterCloud使用“俄罗斯与美国”模型进行了实验。CounterCloud 的任务是反驳今日俄罗斯电视台和俄罗斯卫星通讯社等网站上的亲俄罗斯和亲共和党的言论。它在意识形态上与亲美和亲民主党的框架保持一致，因此生成的所有内容在政治上都倾向于这些方面。
保持克制，普及原理
尽管 CounterCloud 取得了显着的进展，但开发者仍保持克制，没有将其发布到互联网上。Paw 表达了他们的担忧，认识到允许这种工具在网上存在，存在传播错误信息和宣传的风险，这可能会产生不可预见的潜在有害后果。他们的方法不是保持沉默，而是教育公众了解这些系统的工作原理。他们坚信，从长远来看，提高意识可以带来更多好处。
巨大的威胁与影响力
人工智能技术加速了在线虚假信息的创建和传播，已成为巨大的威胁。OpenAI 首席执行官 Sam Altman在X平台上的贴文中表示，人工智能能够大规模提供个性化和有说服力的内容，以及制作高质量的媒体，有可能显着塑造公众舆论，甚至影响选举，这凸显了人工智能在当今世界可以发挥的力量和影响力。
02 用于宣传的AI聊天工具
降低政治宣传的成本。人工智能聊天机器人ChatGPT因其强大的文字编写能力受到极大关注。但信息安全专家也很快发出警告，这种技术降低了政治宣传的成本，可能被用于在国际社交媒体上更轻松地发动宣传攻势。马斯克推AI模型或助推虚假信息传播。
AI聊天机器人Grok可与社交媒体平台X实时连接。11月5日，特斯拉创办人马斯克的人工智能（AI）新创公司xAI公布了其首个AI聊天机器人Grok。马斯克称，相较其他生成式AI，Grok可与社交媒体平台X（前身为推特）进行实时连接，能提供更加即时的信息。但不少意见认为，Grok和X的实时连接或将扩大传播该社交平台上的大量假新闻。X近日被指散播大量有关巴以冲突的虚假信息，欧盟监管机构已宣布对平台展开调查。
03 AI驱动的事实核查工具
当前，鉴别虚假信息主要依靠人力，但无法解决大量泛滥的虚假信息，人工智能驱动的工具正好能在这方面提供帮助。Thefix网站盘点了部分可以帮助记者和事实核查人员识别和应对虚假信息的工具，包括文本、图像、视频和检测机器人活动四大类。
用于核查文本内容的AI 工具
▶ Exorde network：是一个全球信息处理平台，用于分析信息在互联网上的传播和疯传的程度。它的运作方式是通过识别提交到 Exorde 的 URL，这些连结为已被 Exorde 标记的文本内容。然后，它会分析该文本内容内的主张的 “情绪” 以及全球各地人们对该具体主张的反应。在最后阶段，Exorde 会将这些信息存档以供公众访问阅览。
▶ FactCheck.org：是由宾夕法尼亚大学安纳伯格公共政策中心主办的一个项目。该中心核实美国地方、州和联邦各级政客的言论，包括涉及政治和科学的内容。通过 Ask FactCheck 和 Ask SciCheck，记者可以请团队针对他们的信息进行事实核查。
▶ Factiverse：Factiverse是一款可被记者用来加快事实核查过程的工具，可以发现内容中的虚假信息并指出可靠的来源。Factiverse还有一个名为FactiSearch的事实核查数据库，和一个名为 Microfacts、为记者提供背景信息和术语解释的工具。
▶ ClaimReview：ClaimReview 是与 Google 合作创建的标签系统，有助于识别和推广经过事实核查的故事，令这些故事能更容易在搜索引擎和社交媒体网站上出现。使用此标签籤，经过事实检查的言论会跟表明其理据的注释一同呈现。
用于核查图像的 AI工具
▶ EXIF checking tools：可交换图像文件（EXIF）是一种标准格式，适用于数码相机拍摄的所有图像。EXIF注释包含有关图像的信息，例如ISO、快门速度和曝光以及拍摄图像的日期和地点。对原始照片的任何修改都会记录在图像的元数据中。记者可以通过检查任何照片的 EXIF 来确定它是否被篡改。
▶ TinEye：可以搜索图像的重复档案、追踪图像之前出现过的地方，并使用反向搜索技术。
用于核查视频的 AI工具
▶ Verification plugin --WeVerify
除了新的 CheckGIF 功能外，还具备图像内容分析、识别图像中的光学字符等工具，以及将内容与已知假内容数据库进行比较的能力。
▶ The Glorious ContextuBot | Shared Nation
Glorious ContextuBot 帮助检测音频档案的原始来源。依靠指纹识别技术，不仅可以找到原声片段的原始来源，还可以帮助查找音频档案在其他位置的使用情况。
▶ Truepic
Truepic Display 提供任何媒体档案的来源和历史记录，而 Truepic Lens 则提供任何档案的元数据。
▶ YouTube DataViewer
国际特赦组织的 YouTube DataViewer 可帮助提取上传到 YouTube 的任何视频的元数据。用户还可以找到视频的缩略图并反向搜索该图像。
用于检测机器人活动的AI 工具
▶ Botometer® by OSoMe
Botometer 是由印第安纳大学社交媒体观察站（OSoMe）创建的项目，提供 Twitter 帐户的评估分数，低分 (0) 表示真实帐户，高分 (5) 表示机器人帐户。此外还区分了机器人帐户的类型。
参考文献：
https://www.digitalinformationworld.com/p/about.html
https://www.wired.com/story/400-dollars-to-build-an-ai-disinformation-machine/
https://www.businessinsider.com/developer-creates-ai-disinformation-system-using-openai-2023-9
https://thefix.media/
声明：本文来自认知认知，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
