英国国防学院下设的冲突研究中心学者金·哈特曼和基尔·吉尔斯在2020年北约网络冲突国际大会上发表关于下一代网络赋能信息战的研究成果。
文章分析称，网络空间是一个由纯数字数据组成的环境，没有通用的身份验证和核实方法，这为信息战行动的AI武器化提供了自然家园；在虚假情报军备竞赛中，恶意行动者的能力正在以前所未有的速度发展和扩散，而防御性或保护性对抗手段则难以跟上步伐，人工智能支持的虚假信息战等新威胁的出现不可避免。
未来十年，对人力资源的严重依赖的虚假信息活动将不可持续，用于混合战争中虚假信息行动的“命令和控制”面板将被开发；使用可扩展的软件工程模式将是必然选择，进而产生一个更强大信息战的平台；人工智能辅助的自动化将成为信息战的主要特征。应对措施包括三种：一是发展大规模实时认证和区分原始和被操纵材料的方法；二是对真实材料进行认证；三是使用分布式知识来验证正在传播的材料。
展望未来，信息战处于几种已确立的趋势的交汇处，这些趋势将在短期和中期对国家和社会构成严峻挑战；各国应对自己公众对恶意影响活动的敏感性进行量化和感知，同时要大力提高公众对恶意影响活动的意识，尤其是要增加对下一代AI赋能的虚假信息技术的本质和能力的公众教育。
摘要：利用网络能力的恶意影响活动已经在美国和其他地方造成了严重的政治混乱；但由于机器学习的广泛使用，下一代活动可能会更具破坏性。
目前成功开展这些运动的方法依赖于与目标的劳动密集人类互动。机器学习以及潜在的人工智能（AI）的引入，将极大地提高通过定制和合理的内容自动触及广大受众的能力。因此，它们将使恶意行动者变得更加强大。
利用机器学习的信息战工具正在以非常快的速度发展，并且正在迅速地使更多用户更容易获取。直到2018年初，人们还认为网络犯罪分子不会很快使用人工智能方法，因为这些方法依赖于巨大的数据集、相应的巨大计算能力，或者两者兼之，并且需要高度专业化的技能和知识。然而，在2019年，这些假设被证明是无效的，因为数据集和计算能力已经大众化，而且免费可用的工具消除了对特殊技能的需求。可以合理地假设，此进程将继续进行，从而改变欺骗、虚假信息和在线影响的格局。
本文评估了2019年底AI赋能的网络和信息战的态势，调查了这是否可能代表未来十年实质性和危险趋势的开端。需要考虑的领域包括：利用深度造假的社交媒体活动；基于深度造假的首席执行官（CEO）网络骗局；机器制造的政治造势；能够响应与之互动人员情绪状态的电脑，从而实现自动的、人工仿人的虚假信息活动。
关键词：深度造假、虚假信息、信息战、恶意影响、人工智能、机器学习、情感建模
一、介绍
2019年，利用机器学习技术协助和扩大恶意影响活动迅速发展。在年初，“凯蒂·琼斯”是第一张公开确认的用于社交媒体活动的深度造假人脸图像。到了12月，这项技术已成为主流，广泛应用于影响美国政治的运动中。这一趋势极有可能在信息战中继续，从而可能改变信息战的技术、能力、范围和影响。
人工智能的进步和非专业人员可用操作软件的日益普及，使令人信服的假音频和视频材料的制造相对容易。上述材料在社交媒体上的迅速传播以及网络空间中缺乏足够的验证方法，导致潜在非常强大的信息战武器的兴起。该领域的发展速度非常快，2016年的美国总统大选还不涉及深度造假，而这在2020年大选中却被广泛认定为突出危险。目前最有名的案例研究是网络选举中的网络赋能敌对干扰。
在此之前，恶意影响和虚假信息活动主要人工操作和指导的，或者借助相对粗糙和简单的机器人的帮助，这些机器人无法与人类目标进行令人信服的互动，也无法产生战略长期密切关系。伪造材料的设计、生产和传播由人工操作人员执行。但在2019年期间观察到的利用人工智能方法合成操纵性或伪造性材料的趋势表明，成功实施虚假信息行动所需的过程自动化是可能的。尤其是，这是因为人工智能在数据处理和推理应用环境中达到的复杂程度不同于其他领域。这种类型的人工智能可能被认为是介于所谓的“强”和“弱”人工智能之间。
当自动和概括这些任务所需的先决条件和其他输入已经给出时，“弱”人工智能已经可以用于生成涉及虚假信息行动的具体输出材料或独立任务。当前，这些AI应用仍然是特定领域的，因此不能被视为“强”或真正的AI；但是，通过适当地提供自动和概括这些任务所需的先决条件和输入数据，其功能远远高于当今已经观察到的平均“弱”AI。
尽管AI在许多应用场景中仍不成熟，但该技术已在数据分析、分类、创建和操作等特定领域迈出重要一步，在产出方面实现了大幅增长，这也得益于高质量数据和数据处理常规（大数据）以及CPU能力和内存容量。虽然AI系统仍然很难适应现实世界，但网络空间（围绕纯数据和通信构建的人工生成领域）是它们的自然环境。
大多数人仍然相对习惯于将音频和视频记录作为现实的无可争议的证据。图像、视频和音频记录在记载我们最近的历史中扮演了重要角色，我们对这些记录的信任塑造了我们对现实的感知。没有现代媒体和我们对它们的信任，我们的历史可能有所不同。一个例子就是美国前总统理查德·尼克松的铁证录音带的公开，这最终导致了美国的权力更迭。如果该录音带不存在，或者如果不被认可，历史可能会走向完全不同的进程。
在一个充斥着人工制造图像、音频和视频的时代，我们也面临着真实事件被错误地指称为是伪造的风险。由于我们目前没有足够的技术来保证所展示材料的真实性，因此证明被错误地指称为的赝品是真实的比逆向证明更具挑战性。这种虚假指称的影响可能是巨大的，尤其是在政治背景下。
我们已经进入这样一个时代，我们严重依赖音频和视频材料作为信息资源，同时又面临着该材料将不再被完全信任的事实。尽管有多种媒体证据的情况下，总是有一些人认为历史事件（例如大屠杀、登月或甚至9/11恐怖袭击）是虚构的，目前的研究表明，由于深度造假技术的出现，不信任事实的人数正在迅速上升。真相的明显可靠证据可被轻易捏造的情况加速了对客观真相信任的侵蚀；对主流媒体的信任降低的次要影响也加剧了这种侵蚀，抵消了他们提供事实的作用，即向公众提供信息从而稳定民主进程。这直接被有组织的虚假宣传活动掌握。欧盟委员会发布的《2019年联合研究中心关于2018年意大利大选案例研究的技术报告》指出，对媒体的不信任与对虚假信息的更高敏感性之间存在关联性。
美国国会议员要求国家情报总监提交一份关于深度造假及其构成威胁的正式报告。鉴于外国对即将到来的美国大选构成的威胁，美国参议院情报委员会成员马克·卢比奥和主席马克·华纳敦促社交媒体公司制订标准以打击深度造假。他们指出，“如果公众不再信任录制的事件或图像，将会对我们的民主产生腐蚀作用”。
同时，截至2018年，美国国防研究机构DARPA在一项为期4年的项目中投入了6800万美元，用于开发数字取证技术以识别深度造假。但是，令人担忧的是，在深度造假方面，防御方将始终处于不利地位。达特茅斯学院数字鉴识专家汉尼·法里德表示，“对手将永远获胜，他们总是可以创造出一个令人信服的虚假图像或视频，但是要在取证方面获得成功将需要付出更多的时间、努力、技能和风险”。
简而言之，在虚假情报军备竞赛中，恶意行动者的能力正在以前所未有的速度发展和扩散，而发展防御性或保护性对抗手段的国家和其他方则难以跟上步伐。正如过去在网络安全领域所看到的那样，诸如人工智能支持的虚假信息战等新威胁的出现是不可避免的。
本文的其余部分探讨了下一代人工智能赋能的信息战，并分析了已知但尚且模糊和抽象的用于恶意影响活动的武器化人工智能威胁。第二部分讨论了在现代信息战中利用人工智能的方法和前提条件。第三部分回顾了人工智能在生成和处理不同类型信息材料技术现状，包括在人-机器和人-计算机交互中识别、响应和生成情感反应的能力。第四部分借鉴了前面部分和过去观察结果，展望了下一个十年人工智能赋能信息战的发展趋势以及可采取的应对措施，最后第五部分提出了北约成员国应采取的缓解这种新型威胁的措施。
二、信息战中的人工智能
为了了解人工智能支持的虚假信息活动的能力，有必要了解使用该技术可以达成的效果。人工智能在信息战中的真正威力源于以下几个因素：社会大众对社交媒体的依赖；依赖网络空间获取可靠信息；通过网络空间的无限访问和迅速传播信息能力；人类很难地区分真假媒体，以及在线身份认证或验证能力不足。
2019年及以前的恶意影响活动已经涉及范围广泛的材料，这些材料通过不同的技术和针对不同的人类形态进行操纵。
（一）方法
虽然机器学习领域中有许多方法可用于AI应用，但生成对抗网络（GANs）在2019年对深度造假变得异常显著。GANs利用神经网络优化输出。简而言之，GAN是一对相互对抗的神经网络（就博弈论而言，最常见的是零和博弈）。就深度造假的案例而言，一个神经网络旨在根据一组输入数据构建一个深度造假，而另一个神经网络则旨在正确地将深度造假与原始数据区分开。通过这种机制，最终输出可以在每个“回合”中优化。该方法可用于创建和更改媒体。随着时间的推移，所产生的人工输出会变得越来越好，同时也同决于生产材料所要求的保真度。通常，低质量的材料（图像/视频分辨率或音质）更容易伪造，因为需要学习的可识别特征较少。这直接影响到训练所需时间，从而影响制作一个令人信服的深度造假所需时间。
从技术角度来看，人工智能用于创造新材料和改动现有材料之间存在关键区别。虽然所涉及的过程因被加工材料的类型而略有不同，但总体概念是相似的。这样可以确定所需的先决条件，将在以下分段中进行探讨。
1、创建
目前，人工智能并没有真正的创造力。因此，人工智能系统在创造内容方面存在问题，不管产生的输出是何类型。然而，人工智能系统擅长的是学习数据之间的关联。
在生成新内容时，人工智能系统倾向于生成用于训练它们的数据的平均值。举例来说：当人工智能生成一张虚假女性的照片时，人工智能将会检索女性图像数据库，从这些图像中提取出典型特征，从而生成一张包含所有已识别特征平均值的图像。这就是“凯蒂·琼斯”事件中最有可能发生的情况。这也解释了为什么可以通过一些细微的特征来识别出她是虚假的，比如形状和颜色不确定的模糊耳环。但是，通过生成输出的手动后期处理或相应调整人工智能，这些人工智能处理的人工制品就可以避免。
人工制作一个真实、特定的个体要稍微复杂些，并且需要收集有关该特定个体的训练数据。因此，名人、政客和重要商业领袖之类的公众知名人士特别有可能成为AI支持的虚假宣传活动目标。除了取决于可用数据的数量和质量，创建人工内容还可能涉及应用（以及学习）通用模型，例如类似人类的运动模式。这可以（在某种程度上）被用来弥补足够数据的缺乏；但是，这会使流程复杂化，并且更容易被识别为伪造品。
2、篡改
与创建相比，篡改稍微复杂一些，因为它涉及更多的步骤。例如，在给定的图片中，要把一个微笑变成一个皱眉，就需要几个步骤。首先，人工智能必须了解图片的哪些部分是相互作用的，才能被认为是在展示微笑或皱眉。这些特征在某种程度上是普遍的，但也可能包含个人特点。因此，为了让人信服，对人工智能需要改变形象的特定人物进行训练是很有帮助的。第一步是建立一个微笑（起源）和皱眉（目标）的模型。第二步是确定需要改变的地方。第三步是进行修改，最后第四步包括对整个图像的调整（如光照条件、亮度和对比度）。这些步骤与视频修改类似。
尽管AI支持的篡改比创造更加复杂，但执行篡改的应用程序已经存在，这将在第三部分进一步讨论。
这种篡改不应与简单的编辑混淆，简单的编辑在虚假信息中仍然扮演着重要的角色。2019年一个突出的例子是美国众议院议长、民主党领袖南希·佩洛西的一段视频，视频经过篡改后使她看起来喝醉了，并迅速在社交媒体上传播开来。这显示了篡改视频材料在普遍虚假信息活动中的潜力。
南希·佩洛西被修改视频的案例也显示了社交媒体的一些重大关切。虽然该视频获得了200万次观看量，并在不到36小时内被分享了45000次，脸谱证实该视频已经被篡改，但拒绝将其下架，因为“我们没有规定在脸谱上发布的信息必须是真实的。”
佩洛西的视频被放慢了速度，使得她的演讲显得含糊不清。减慢视频和音频材料的播放速度是一个很常见的任务；大多数播放器都具有此项功能。通常，较慢的速度也会使声音效果发生显著变化，从而导致声音降低。在南希·佩洛西的例子中，为了弥补声音降低这一影响，音高也被改变了。虽然音高变化不如调整播放速度那么普遍，但这仍然是一项需要很少或不需要特定技术知识的任务，并且在大多数音频和视频处理的应用程序中都可以使用。与此类似，常见的用于编辑静态图像、音频文件和文本的软件，将与更先进的技术一起，继续在恶意影响活动中发挥关键作用。
（二）先决条件
大数据处理方法的出现、计算能力的提高以及并行式计算和分布式计算的发展，意味着机器学习不再是拥有大量资源的行动者专用的精湛技术。
2019年出现了大量深度造假表明，深度造假技术已经变得广泛可用。某些应用程序（例如“Zao”和“FaceApp”）可以下载，而其他一些应用程序则通过在线服务平台来提供深度造假服务。虽然不太可能将这些应用程序直接用于虚假宣传活动，但是该技术作为商业产品提供给用户，因此在一定程度上允许软件开发人员使用它来创建相应的应用程序，进而也可以用于开发恶意应用程序。在第四部分中，我们将进一步研究这种用于虚假信息运动的武器化AI的发展现状，以及在不久的将来最有可能得到增强的方式。
三、人工智能应用
在虚假信息活动中使用的人工智能方法的一个特殊性是，它们基本上可以应用于任何可用的材料。其原因在于它们纯粹而抽象的性质：只要一组数据中存在可识别的特定模式，那么AI构造就能识别、学习和再现它们之间的关联性。但是，在虚假信息领域，最相关的媒体是文本、音频和视频，因此下文中将简要概述每种形式素材的操纵和创作技术的现状，包括人工智能识别和展示人类情感的能力。这将使人们能够更好地了解人工智能未来用于虚假宣传运动的潜力。
（一）文本
尽管人们将大多数注意力都集中在被操纵视频、音频和静止图像的潜力上，但是自动生成的文本已经有十多年的发展历史。2008年，由麻省理工学院学生编写的科学论文生成器SCIgen，设法生成了一篇研究论文，该论文被一个会议（由IEEE共同资助的2008年计算机科学和软件工程国际会议）接受，进行同行评议以供发表。尽管SCIgen的目的是“自动生成具有较低水平的研究论文”，但它也展示出AI可以自动生成更长的可信文本。OpenAI的GPT-2版本是人工智能自动生成文本的最新版本。该文本生成器已经被证实有为极端组织制造宣传或假信息的潜力。恶意活动的影响是多方面的，包括减少或消除与人类产生交互的依赖，从而解决规模化扩张问题。当不需要手动制作每条消息时，旨在产生某个想法广受支持印象的欺诈性消息生成变得非常容易。
（二）音频
在虚假宣传活动的背景下，音频材料被用于模仿另一个人的效用不言而喻。在2019年的音频深度造假中，网络犯罪的欺诈者利用与制作假视频相同技术冒充首席执行官的声音。《华尔街日报》详细地描述了一个案例，该案例通过欺诈性银行转账导致了243000美元的损失。这个案例显示了这项技术的潜力，也显示出通过个人听觉识别声音的脆弱性。如果展示出特定于目标的了解，电话呼叫者通常无需经过充分的识别过程即被接受为合法呼叫者；如果谈话的内容不是金融转移而是政治见解或个人陈述，则情况更是如此。
另外，语音合成器的可用性及其生成听起来像人类的人工声音的能力正在提升。这些系统甚至能够在生成的语音中添加情感韵律。与上面的文本示例一样，虚假信息宣传活动很明显不再受到数量的限制；但是在这种情况下，另一需要克服的挑战是语言能力。
在2019年初，本文一名作者成为尝试通过社交工程协助网络攻击的目标，鱼叉钓鱼受害者们接到了声称是该作者私人助理的电话，并被敦促点击刚刚接收的链接。很多受害者因呼叫者浓重的俄罗斯口音而产生怀疑，但是一旦AI生成的合成语音功能可用，这将不再是限制因素。
AIVA（人工智能虚拟艺术家）是一个创作情感音轨音乐的AI系统，其与虚假宣传活动的明确背景不太相关，但令人信服地展示了AI在音频处理中的能力。
（三）视频
深度造假视频在2019年期间受到广泛关注，无论是出于娱乐目的还是为了提高公众对深度造假及其潜力制作的。例如，将项目或个人添加到现有剪辑中的视频，以及篡改现有视频并创建新视频。
视频篡改涉及使用嘴模型来调整嘴唇和脸部运动，以使说话人令人信服地发表音轨上的假语音。尽管其背后的技术涉及从视频处理、运动和生物动力学建模到音频处理的许多学科，但是在这些研究领域内生成的工具的编排已导致创建了完全能够生成令人信服的素材的外行可用的应用程序。
（四）图像
图像处理应用程序在社交媒体平台上几乎无处不在，从用于增强自拍照的应用程序到添加、删除或更改图片内容的应用程序。利用AI的新应用程序增强了此能力，基于机器学习算法从简单的图纸或人工图像创建逼真的图像（“凯蒂·琼斯”）。图像也可用于创建视频镜头（请参第三部分第三节）。
（五）情绪反应模式
在撰写本文时，作者们尚不了解在图像和视频中显示的情绪状态篡改的实例。但是，此功能应该很容易达成。人机交互（HCI）研究界已投入大量精力来开发能够识别人类情感的系统和能够显示人类情感的虚拟代理。据称，仅通过某人的一张静止图像和一个音频剪辑就生成通过面部动作模拟情绪反应的视频。篡改视频以包含模拟的不适当的情绪反应，可能是败坏公众人物名誉的有力工具，尤其是所做篡改可能极其微妙且难以被发现。一个简单的例子可能是一位政客讨论了一场造成平民伤亡的军事行动，其面部被篡改为显示冷漠，甚至表示赞同。
HCI界已经从关注所谓的“艾克曼基本情绪”转向了更微妙的情感状态及其过渡的概念。研究界对如何显示情感以及如何使系统适应特定用户隐藏的情感暗示有了很好的理解。但是，凭借这一认知，它也能够复制显示出细微暗示的镜头。甚至被针对的目标个体可能也难以识别出来这种篡改，因为许多细微的情感暗示是无意识运动的结果。
四、下一个十年
用于信息战行动的AI武器化在网络空间中找到了自然家园，网络空间是一个由纯数字数据组成的环境，没有通用的身份验证和核实方法。这很可能对信息战的开展或执行产生许多直接影响。
（一）命令与控制
虽然在2019年，深度造假的生成过程需要人工干预，但这种过程在未来十年将变得更加自动化。
在2010年代，成功的虚假宣传运动在每个阶段都需要人类参与。概念需要被发展，材料需要被设计、起草、生成和传播，并通过社交媒体传播。传播需要借助社交媒体人物，而这通常需要在行动前手动创建。这些人物需要由人类提供服务，以建立社交网络、产生追随者并建立信誉。因此，虚假信息运动涉及人力，并确实在菲律宾、印度和俄罗斯等国家形成了整体虚假信息产业。
如今，在社交媒体平台上使用的自动化检查确实表明，这种对人力资源的严重依赖不太可能继续。涉及的个人通常是资源有限的低预算服务提供者。此类行动者参与虚假信息行动有几个弊端，最突出的弊端是他们可能会意外地（或像俄罗斯圣彼得堡的互联网研究机构那样故意地）泄露其活动的详细信息。但整体上，他们在隐密行动上效果较差、效率较低。Instagram等平台因存在机器人活动而闻名。Ingramer工具提供Instagram机器人服务，这些服务可以接管用户的账户，并允许在平台上进行完全自动化的模拟人类行为。Ingramer甚至确保Instagram无法通过地理位置元数据对其进行跟踪；它执行相关行动，例如喜欢/关注/取消关注、直接消息、预定帖子、主题标签、位置和用户名指定等。
大多数社交媒体平台上都存在类似的机器人和流程。由于社交媒体平台的大多数服务/应用程序提供商都允许开发人员通过开发人员应用程序编程接口（API）与平台进行交互，因此它们变得相对易于开发。这些使得软件开发人员可以通过他们自己代码/应用与平台的应用/服务交互。
处理不同社交媒体平台多个API的应用程序能够控制多个平台上的多个账户。这样的应用程序已经存在并且可以在线获得。它们通常被称为“社交媒体管理应用程序”，例如Agorapulse、Sprout Social或Hootsuite等。后者列出了可用的应用程序，这些应用程序允许机器人连接到Hootsuite Inbox。
由于用于在社交媒体上自动发布的控制面板是一种成熟、广泛廉价可用且被广泛接受的技术，可以预期用于混合战争中虚假信息行动的“命令和控制”面板将被开发。结合机器学习的并行发展，它们很可能将控制能够（半）自动生成人工内容的AI代理（智能机器人）。好处显而易见：单人可以通过单一应用在多社交媒体平台精心安排数量不受限制的账户，传播人工智能生成内容，追求单一且协调的战略目标。
（二）可扩展性
本质上，用于生成深度造假和其他可操纵材料的技术不过是软件。在社交媒体空间中将AI武器化以用于信息战的目的之一是自动生成与虚假信息行动的总体策略相一致的内容，但使用不同的方式来显示、共享生成内容，并与之交互。由于社交媒体运作方式，这将提高所生成内容的可信度并确保材料的广泛传播。
在过去的几年中，由于软件的可扩展性一直是软件工程行业的主要关注点，尤其是在向“即服务”体系结构转变的过程中，已经开发了许多概念以允许轻松扩展必要的软件组件。这些概念之一是微服务体系结构，其中软件的每个组件都是能够独立运行的单独实体。这个概念与软件代理的概念非常吻合。这些实体（微服务）自动通过所谓的连续集成/连续部署（CI / CD）管道自动部署自身的多个副本（实例），从而交互并响应更高的要求。CI/CD管道是“DevOps”（开发运营）的一部分，对于工作于需要响应不断变化的需求的云架构和其他服务的软件工程师，通过自动部署使用微服务已经成为行业标准。
在设计如上所述的“命令和控制”面板时，使用可扩展的软件工程模式合情合理。这将产生一个更强大的平台，能够产生高吞吐量和输出量，其中一个面板能够控制数百个由软件代理管理的看似独立的账户。这将确保性能限制可以忽略不计，并允许自发适应不断变化的需求。剩下的限制因素将是社交媒体平台安装的控制机制，目前已知这是不够的。
（三）自动化
人工智能辅助的自动化很可能将成为未来十年信息战的主要特征。这可能适用于两个不同的领域：按照协调一致的总体策略自动发布虚假信息，以及自动生成虚假信息。后一项任务取决于获取AI方法所需的数据及其生成内容的能力，最好遵循特定的策略（例如涉及针对特定种族的种族主义宣传）。自动发布已经可用的虚假信息比较容易实现，因为它只需要预定的访问目标平台即可。从技术角度来看，这不一定涉及任何人工智能，尽管AI可能有益于创建更逼真的人类行为幻觉。
未来自动化也可以被用来生成对事件的即时响应。智能信息战行动应该能够识别出对相关主题日益增长的兴趣（例如特定个人或动作的受欢迎程度），并生成协调一致的自动响应对兴趣加以利用。回应模式可能包括产生反驳、假新闻、“引战”（trolling）或廉价宣传。在这种情况下，人工智能系统已经具备的识别正在显示的情绪状态、产生情绪化反应以及预见其对人类的影响的能力将具有特别的价值。当前，所有这些都需要大量用户账户来共享或推广所产生的材料，这通过比当前使用的机器人更复杂的方式为自动化提供了明显的作用。
虽然生成深度造假的过程目前仍是手动启动的，但是可以期待这也很快会自动化。但是，生成静态图像以产生诸如“凯蒂·琼斯”之类的人造个体的头像仍然比自动生成现有个体发表自动生成讲话的令人信服的深度造假视频要简单得多。直到AI系统能够根据抽象目标（例如虚假信息活动可能具有的目标）采取行动之前，这种类型的活动目前仍可能会涉及人工。
正如第三部分第一节所述，在给定一组关键字的情况下借助AI生成较短的文本已经成为现实。让活跃于社交媒体平台的机器人发布这些人工生成的文本不再是挑战。即使在今天，社交媒体用户（例如“网红”）也通过应用程序管理其账户，从而安排预定的帖子，或从一组文本、主题标签和图片中生成帖子。在不久的将来，通过机器学习增强的类似技术可能会用于信息战中，从而扩大“巨魔工厂”和僵尸网络。
（四）对策
重要的是要理解，本文中描述的过程不依赖于未来或新兴技术。所需的每种功能已经处于高级阶段，并且在过去的几年中（有时甚至是几十年），各个研究领域已经针对特定和多模式系统开发了这些技术。这些技术已准备好应用于合法的民间应用，并且在许多情况下已知被恶意行为者武器化。这是真实而紧急的警报，因为人工智能支持的虚假宣传运动有可能对迄今为止所看到的民主和社会构成最大威胁，其目标不仅是民意，还有构成民主社会支柱的信仰和信任本质。
与其他新技术一样，武器化几乎无法阻止。取而代之的是，迫切需要发展大规模实时认证和区分原始和被操纵材料的方法。识别被操纵材料的特殊问题在于用于生成这种材料的方法中：如上所述，生成对抗网络（GANs）如果经过充分培训，将产生难以与真实媒体区分开的结果——不仅对于人类观察者而言，对于机器也是如此。
另一种方法是对真实材料进行认证。就像整个互联网的不安全设计一样，意味着安全的应用程序和进程需要单独开发，因此在通常不受信任的信息空间中，可能需要采取额外措施来激发信任。为此的可能技术可能包括数字水印（要求制造商参与以将技术纳入到记录设备中），或软件签名过程，正如电子邮件通信中所知。但是，在两种情况下，这种方法仅适用于传递信息总量中的一小部分。虚假信息行业严重依赖通过社交媒体传播的宣传。所散布的材料不一定是官方的，只要它令人致信或至少是合理的，并可以解释某人如何或为何能够使用该记录。同时，这种材料的广泛消费促使公众逐渐习惯于来源可疑并声称讲述真实情况的低质量材料。这简化了旨在散布虚假信息的恶意行为者的任务。
需要进一步研究的第三种方法是使用分布式知识来验证正在传播的材料。该想法是利用多名人员、传感器和一般信息的知识，综合推断所显示材料的可信度。这种综合知识可能包括已知证人的验证、物理现象真实检查（如灯光效果或环境与视频中对象间的交互）、监控数据和背景信息检查（如通过服务提供商验证电话呼叫者ID，或验证拍摄地点的特定知识）。重要结果可能来自人工智能子领域集群智能的研究。
五、展望
信息战处于几种已确立的趋势的交汇处，这些趋势将在短期和中期对国家和社会构成严峻挑战。具体包括：
超连通性的持续发展，降低了在线与现实生活间界线的可辨性；
因目标明显缺少威慑措施而壮胆，对自由民主抱有敌意的行动者约束减少；
进一步削弱信任以及独立且可难证真相的观念；
最后，正如本文所述，迅速且加快、的技术变革步伐促进或赋能恶性影响活动。
在这些并行但相互依存的现象中，最容易准备的也许是技术影响。与其他趋势不同，这既是相对可预测的，又有一系列清晰可辨的对策。这些可能包括：
探索数字资料的技术认证方法；
通过数字签名查证内容出处；
考虑进一步应用数字签名；
继续努力恢复对独立媒体和新闻业的信任；
引导社交媒体平台增强对假消息的检测，并部署使用户能够评估内容可靠性的手段；
确保民众可以向国家或超国家主管机构报告恶性影响活动实例；
以新加坡为例，迫使社交媒体平台标记虚假或错误内容（包括任何原始材料的重新发布或共享发布）。
本文详细介绍的每种新技术都会对信息战产生影响；但这不一定是一场变革。与其他先前的技术发展一样，虚假信息的传递可能以不同的方式进行，但是欺骗的本质保持不变。因此，应对它的基本要素遵循与过去几十年甚至几个世纪相同的模式。这是因为尽管虚假信息技巧和技术不断变化，但保持不变的一个因素是他们利用人类的敏感性。
因此，除了上述技术建议外，各国还应对自己的公众对恶意影响活动的敏感性进行清晰、诚实的评估。如评估虚假信息活动成败的标准一样，对这种敏感度进行量化和感知的标准成为迫切需求，并且对于准备对策和增强社会对威胁的认识来说都是必不可少的。
各种各样的因素决定了一个社团对信息虚假性的敏感程度：访问和参与社交媒体、媒体的吸收和信任度、年龄、技术教育水平、对民主价值观的信任和理解以及对国家领导人的信任。后一点要求西方自由民主国家的领导者有义务了解他们自己对社会凝聚力和共同防御的贡献。对领导人和体制的信任是民主制度的基础；执政期间公然无视诚实和正直将削弱这种信任，从而形成对手可以并且会利用的权力真空。
与上述保持一致的是，对所有反虚假信息努力的一项普遍建议是大力提高公众的意识，包括个人或团体遭受恶意影响活动的威胁、威胁方法、迹象和警告，无论活动是由外国对手还是操纵社会的国内政治人员为了自身目的发起。现在应在这项长期建议的基础上增加对下一代AI赋能的虚假信息技术的本质和能力的受众教育。从现在开始，在目标受众中进行威胁素养适当准备和投资，将对减轻未来更复杂的十年中的信息战潜在危险产生重大影响。
声明：本文来自网络空间安全军民融合创新中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
