近年来，人工智能和机器学习能力呈指数级增长，利用社交媒体平台的人工智能算法发布虚假信息实施信息战的行为已愈发猖獗。国家层级的虚假信息操纵是指国家与媒体结盟，利用人工智能系统和心理学知识，影响公众舆论、态度和行动，从而支持西方国家层面的政治目标或影响选举。
2022年7月，欧洲安全与合作组织（OSCE）发布报告《人工智能与虚假信息：国家支持的信息行动与公共领域的扭曲》（Artificial Intelligence And Disinformation：State-Aligned Information Operations And the Distortion of The Public Sphere），重点讨论了人工智能技术在操纵公众舆论，尤其是在新闻社交媒体等活动平台中的多元化应用，并提出了针对性建议，具备较高的前瞻性。
欧洲安全与合作组织（OSCE）谈人工智能与社交媒体中的虚假信息作战
作者：张华
组织介绍：欧洲安全与合作组织（OSCE），世界上唯一一个包括所有欧洲国家在内并将它们与北美洲联系到一起的安全机构，是世界上最大的区域性组织。包括欧洲国家、苏联解体后产生的国家以及美国、加拿大、蒙古；主要使命是为成员国就欧洲事务，特别是安全事务进行磋商提供平台。
全文摘要与关键词
1.人工智能在虚假信息作战中的应用：①两类应用：智能审核与传播、智能伪造（情绪传染）②典型案例：利用排序算法污染社交媒体，产生信息级联
2.国家层面的AI虚假信息作战：“国家&媒体联盟”传播虚假信息，标记标签影响推荐算法，“新闻清洗”策略、诱发霸权偏见
3.结论与建议：降低各类行为者通信平台武器化能力；开发识别和跟踪深度伪造的方法；充分训练信息完整性模型；对技术平台实施共同监管；研究”协同化虚假信息“和网络骚扰运动对各类语言、训练数据和对抗性生成网络的影响等
1 人工智能在虚假信息作战中的应用
OSCE对AI技术在虚假信息作战中的应用进行了全面分析，主要包括两部分：智能审核与传播、智能伪造虚假信息。
1.1 主要应用
智能审核与传播
内容管理与发布。目前，从内容审核各个方面的自动化过程到机器学习和神经网络，AI在整个线上媒体发布和内容管理过程中被广泛部署。社交媒体和其他互联网平台广泛依赖于AI系统来执行其服务条款，并被用于落实管理其平台上可接受言论和行为的规则。
算法驱动的社交媒体自动化管理。更广泛地说，算法和AI系统是基于数据构建和训练的，数据的普遍性或缺乏可能会对训练模型、机器学习产生重大影响，而机器学习反过来又是影响虚假信息传播的内容治理系统的基础。通过算法指令和渐进式机器学习将实现社媒的自动化管理，进而影响线上内容、删除账户、发布禁令、确定优先级以及内容货币化（指内容创作者利用发布的内容获取收入）。
智能伪造虚假信息
智能伪造的普遍化。随着用于开发和训练深度学习模型的线上数据量不断扩大，自然语言处理（NLP）技术正被广泛用于制造假新闻，自动生成的文本以及被伪造/操纵的多媒体内容，这种虚假事件的普遍化发展加剧了识别真假新闻的难度。
机器学习提高伪造效率，降低伪造成本。进一步而言，综合运用NLP模型、神经网络和可以学习和改善其功能的“生成对抗性网络”，赋能AI工具的更便宜、更复杂和广泛使用，例如创建深度伪造技术。机器学习模型能够创建越来越逼真的合成媒体，其所需的必要数据量越来越少。
智能伪造的两个分类。在虚假信息作战中，被操纵的图像、视频和音频根据其复杂程度被称为“深度伪造”、“浅度伪造”（亦可称为“廉价伪造”）。这两种类型的操纵都会增加信息不确定性，削弱目标群体对社交媒体的信任。
深度伪造：由复杂的、实验性机器学习技术生成的视频、音频或其他数字表征形式，其图像和声音看似真实，实际上是人为捏造。从效果上看，即使是老练的用户和技术也很难确定其真实性。
浅度伪造：其制作质量很差，只需要简单软件，就能识别真伪，但也存在易于制作并可实现病毒性传播的优势。
记者易成为深度伪造技术的攻击目标。在目标群体中，新闻记者特别容易成为深度伪造技术的目标和模仿对象，因为有太多的原始材料可以用来训练深度伪造的AI系统，从而实现更逼真的模仿。
“情绪传染”。目前，行为科学的相关研究已经确定了负面虚假叙事是如何产生共鸣并实现粘性的。当由AI伪造的虚假信息与协同过滤和排序算法相结合时，可能会出现“情绪传染”，并导致人们在没有意识的情况下出现相同的情绪，以匹配新出现的虚假“现实”。最为典型的就是抹黑行为，这是最具互动性和传染性的情绪之一。
1.2 典型案例——利用排序算法污染社交媒体
网络效应使信息像病毒一样快速传播，产生信息级联。智能化算法内容审核和协作过滤系统中的机器学习技术往往会加强信息级联。虚假信息活动可充分利用AI和互联网特性，尽可能让信息接触到其目标受众，并恐吓、威胁、骚扰持不同观点的人。
例如，在新冠流行期间，反对人们接种疫苗的虚假信息作战经常使用真实、重复和虚假账户的大量评论，并对其受众目标进行诽谤。社交媒体推荐算法的前提是让用户尽可能长时间地使用平台并参与内容讨论。在脸书上，新闻推送通过排序算法确定应显示或省略的内容，旨在向用户展示与他们直接相关和最吸引他们的内容。但推送排序模型不包括对内容制作者权威度的考虑，因此，虚假信息行为者将利用智能化推荐算法，使己方言论最大程地度影响受众。
2 国家层面的AI虚假信息作战
“国家&媒体联盟”传播虚假信息。OSCE报告认为，AI技术与社交媒体的结合使得在国家层面传播虚假信息有了新的表现形式——即通过国家与媒体的“结盟”，煽动、放大、并传递虚假信息，为政客提供“客观报道”，为其网络雇佣军的更广泛协调和参与提供掩护，实现全面动员，影响包括议员选举、性别偏见在内的多元化政治行为。
与国家结盟的媒体被贴上标签，影响推荐算法。各大传媒都在网络和社交媒体平台上拥有极大的网络影响力，因此，一些与相关政客结盟的媒体可能被指定为信息发布合作伙伴，并在脸书、谷歌和推特上被标记为新闻媒体，影响排序和推荐算法。对此，一些平台已采取措施，在其平台上为被西方国家控制的媒体贴上标签，这种与国家结盟的媒体广泛参与诽谤和虚假信息运动，也会在媒体生态系统中制造分歧，降低大众对该行业的信任，并加剧党派之争。
“新闻清洗”策略。通过将虚假信息发布为新闻，与国家结盟的媒体将其证明其为真正的“新闻”。这种“新闻清洗”是一种常见策略，可以欺骗算法，传播虚假信息并实施骚扰。新闻清洗破坏了算法将新闻质量/发布者视为关键考虑因素的能力，对诸如“搜索结果”产生重大影响。
通过AI发酵的“假新闻”或可诱发霸权偏见。考虑到“真正的”新闻内容被广泛用于自然语言处理、面部识别、合成媒体开发和其他AI系统应用中，以开发和训练数据集。这意味着，被虚假信息污染的“假新闻”可能会通过AI以有害的方式进一步编码发酵，特别是在资源匮乏的小众语言中，其影响效果更为明显。进一步而言，那些采用偏见和有害意识形态的语言模型和其他AI模型也将通过机器学习和它们生成的新合成媒体或文本来延续、发酵虚假信息中对某些事物的霸权偏见。
3 结论与建议
依靠网络雇佣军和与国家结盟的媒体的新闻、社交媒体“大清洗”，智能化的虚假信息及对异见人士的后续骚扰活动已出现了一系列相互结合的战略和战术。这将产生级联效应，进而影响各类媒体中特定信息的可见性和透明度。
鉴于上述威胁，OSCE建议应该采取以下政策：
（1）降低各类行为者操纵AI和将通信平台武器化的能力
对此必须认识到，除了科技公司之外，还有一系列私营公关机构参与了信息操纵，必须采取保障措施。例如，对国内外付费公关公司的注册和融资限制，以及科技平台对各级行为者如何使用其平台的更好监督。
（2）需要提高所有类型广告和付费内容推广的透明度，尤其针对西方国家广泛存在的政治广告
这类政治信息操纵搅乱了广泛的信息环境，并通过排序算法等手段放大了虚假信息和网络骚扰效应。报告认为，目前西方国家一个致力于信息运营的日益专业化和利润丰厚的政治行业已经发展起来，社交媒体影响者和内容创作者被纳入许多国家的管理机构，政治家们代表着他们所服务的市场。具体而言，应限制使用网络雇佣兵、公关公司和受西方政府委托的人操纵社交媒体，保持媒体、社交平台高度透明度。
（3）科技平台必须降低有意识的和机会主义的虚假信息盈利能力，包括控制剽窃行为，增大利用新闻内容诱使受众点击的困难程度
通过减少点击诱饵和重复新闻内容的经济激励将有助于阻止非意识形态行为者利用虚假信获取利润。而在更基本的层面上，社交媒体平台需要改进对优质新闻来源的识别能力，并将这些数据纳入推荐算法和排序系统的设计中。
具体而言，一方面科技平台应该鼓励并利用媒体专业人员和新闻组织创建了一系列诚信相关措施，打击虚假信息，同时更好地保护相关实体和记者免受网络骚扰，并且需要开发这些自我调节机制的可扩展性；另一方面科技公司应该利用现有的社交媒体行业和自律举措，采取多方利益相关者的方法给媒体添加正确的“标签”，以确定其是否可靠。
（4）开发能够在互联网上识别和跟踪深度伪造行为的方法，将其作为至关重要的优先事项
除了寻找那些具备可扩展性的解决方案外，专家们还应研究共享哈希（hash）数据库的潜力，将其作为一种新解决方案，能够在社交媒体平台上跟踪并删除深度伪造的多媒体内容。
（5）充分训练信息完整性模型
考虑到相关可用数据、计算资源，以及用于支付数据收集/标记、云计算、AI训练费用的财政资源都会影响AI系统的发展。这种资源上的差距可能进一步加剧低收入和高收入国家在AI应用方面的不平等。
对此，全球社交媒体平台必须确保为其运营的每个国家提供适当的资源，包括语言和国家专家以及信任和安全专业知识。特别是考虑到Meta/Facebook/WhatsApp和推特在虚假信息作战中的中心地位，这些公司应该在国家选举前采取积极措施，阻止社交媒体中存在的信息作战行为。相关措施应该与提升新闻信息质量的举措同时进行。
（6）政策制定者必须确保任何关于AI使用的规定，不会限制媒体机构将AI纳入其新闻报道的能力
新闻媒体协会应要求为所有AI生成的内容贴上标签，以提高受众素养和透明度。
（7）监管机构应该考虑对相关技术平台实施共同监管或政府监管的要求
监管机构应加强对数据隐私的保护，这可能会减少基于用户数据的定向广告，避免受众被定向瞄准。同样，监管机构可以要求媒体平台提供更多关于平台资源分配的信息，以支持平台内容治理，并致力于利用NLP机器学习进一步强化对各类不同语言媒体信息的分析应用。
此外，监管机构还应该提供明确的法律指导，以培养更大的透明度和问责制，以及更有效的监督。具体而言，监管机构应在内容审核和策划、算法决策、AI系统、数据集和语言的使用等方面，对社交媒体平台实施更严格的透明度要求。考虑到内容审核和关联语言环境的难度，媒体技术平台应该收集并向独立研究人员提供可以测试新兴模型的数据集。
（8）需要更多地研究协同化虚假信息和网络骚扰运动对各类语言（尤其是小众语言）、训练数据和对抗性生成网络的影响
私营部门、政府、学术界和民间社会需要合作，资助和分析用于训练核心NLP（如CommonCore等）的主要数据集，并创建新的数据集来提供所缺失的分析素材。
具体而言，需要在以下方面进行更广泛的分析：1）如果一些期望外的不佳内容被用作训练AI模型的数据集，会对整个AI系统下游产出效果造成什么影响；2）在模型训练之前从数据集中适当过滤虚假信息、骚扰或其他不希望的内容，会对整个AI产出造成什么效果。了解仇恨言论、骚扰、协同化虚假信息作战将如何影响数据集和AI系统的基本构建模块，将是解决各类语言（尤其是小众语言）和各类市场体量的国家虚假信息的结构性问题的重要一步。
参考文献：
https://www.osce.org/files/f/documents/e/b/522166.pdf
声明：本文来自认知认知，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
