作者：英国皇家联合军种研究所（RUSI）的亚历山大·巴布塔（Alexander Babuta）、马里恩·奥斯瓦尔德（Marion Oswald）和阿迪·詹耶娃（Ardi Janjeva）。
翻译：国家互联网应急中心 张冰
执行摘要
英国皇家联合军种研究所（Royal United Services Institute，RUSI）受政府通信总部（GCHQ）的委托，开展了面向国家安全目的的人工智能（AI）应用独立研究。该研究项目的是建立一个独立的证据体系，为未来制定有关国家安全的AI应用政策提供参考。本研究的发现是在全面访谈英国国家安全领域相关方，包括：执法机构、私营部门公司、学术和法律界专家以及民间社会代表等基础上获得的。同时辅之以有关人工智能和国家安全的现有文献分析。
研究发现，人工智能可以为英国国家安全领域提供众多提升现有流程的效率和有效性的机会。人工智能方法可以从庞大分散的数据集中快速获得洞见，发线人类操作员不会注意到的连接关系。然而，在国家安全和英国情报机构的权力架构下，AI应用可能会引起额外的隐私和人权方面的考量，这需要在现有法律和监管框架内加以评估。因此，随着新的分析方法不断应用于数据，需要不断加强政策和指南研究，以确保持续对国家安全AI应用的隐私和人权影响进行评估。
本研究重点关注了情报机构试图部署AI的三种方式：
1.通过提高行政机构流程的自动化水平从而大大提升效率，例如，辅助执行日常数据管理任务，或者提升目前合规性和监管流程的效率。
2.面向网络安全，人工智能可以主动识别异常网络流量或恶意软件，并实时响应异常行为。
3.对于情报分析，“增强情报”（AuI）系统可以被用来支持一系列人工分析过程，包括：
a.自然语言处理和音视频分析，诸如机器翻译、说话人识别、目标识别和视频摘要。
b. 海量收集材料的过滤和分类。
c. 行为分析以获得单个主题级别的深入信息。
本研究中所分析的AI用例中AI无法完全代替人工判断。试图在个体层级“预测”人的行为的系统对威胁评估目的而言价值有限。尽管如此，使用增强情报系统整合来自多个情报源的信息并标记重要数据以便人工审查的方法，将可能显著提高针对单个主题分析任务的效率。
考虑到应对AI发展给英国国家安全带来的威胁，对AI的需求将变得更加迫切。恶意行为者毫无疑问将谋求使用AI技术攻击英国，最有能力的敌对国家行为者，它们不受与我们相同法律框架约束，正在开发或已经开发出了进攻性AI能力。随着时间的推移，包括网络犯罪集团在内的其他威胁制造者也将能利用相似的AI创新成果。
• 对数字安全的威胁包括：利用经常改变其可识别特征以逃避检测的多态恶意软件，或针对特定受害者的社会工程攻击自动化。
• 对政治安全的威胁包括使用“深度伪造”（deepfake）技术来合成媒体和虚假信息，以操纵公众舆论或干扰选举程序。
• 对物理安全的威胁不是太紧迫的问题。但是，物联网（IoT）技术、自动驾驶汽车、“智能城市”以及相互连接国家关键基础设施越来越多的应用，将带来大量可能被利用来造成损害或破坏的漏洞。
存在与隐私侵犯相关的机会和风险。AI被认为可以通过最小化需要人工审查的个人数据量来减少隐私侵犯。然而，也有人认为，无论数据是由算法还是由人类操作员处理，隐私侵犯的程度都是一样。更进一步，使用AI可能会使部分原来因技术或能力因素限制而无法处理其他资料得到处理。因此，在评估任何AI应用造成潜在隐私侵犯的程度时，需要将上述因素考虑在内，并与其可能带来的分析效率提升加以综合考虑。
“算法画像”（Algorithmic profiling）可能比手工分析更具侵犯性，如果有人认为遭到不公正的偏见或歧视，这将引发更多的人权争议。防范机器偏差需要有在AI项目的所有阶段持续跟踪和消除算法歧视风险的内部流程，并确保AI开发团队中的人口多样性。
许多评论引起了人们对某些AI方法的“黑匣”特性的关注，这可能会导致整个决策过程中的负责性的缺失。为了确保人类操作员对基于分析的决策过程结构负有最终责任，有必要以非技术熟练用户可掌握的方式设计系统，使其能解释和审慎地评估关键技术信息，例如误差的边际效应和计算相关的不确定性等。
尽管有关AI的“道德准则”不断增加，但仍很难确定如何在实践中施行这些准则，这表明需要对AI的国家安全应用出台更具体的面向特定部门的指南。在现有的监督制度框架下采取敏捷方法来预测和理解AI新能力所带来的机遇和风险，对于确保英国情报界适应迅速发展的技术环境和威胁态势至关重要。
资料来源说明
本文的发现是基于开放和秘密资料综合研究的结国。相关内容主要来自与英国国家安全领域受访者进行的秘密访谈和焦点小组讨论。尽管全文中都包含开放参考文献，但并非总是能够为研究发现和结论提供确定的资料来源。
引言
政府通信总部（GCHQ）委托皇家联合军种研究所（RUSI）开展AI的国家安全应用独立研究，旨在建立一个独立的证据库，为未来有关AI的国家安全应用政策制定和战略思考提供参考。
本研究考察了AI在英国情报界（以下简称“UKIC”或“机构”）的应用。本文的发现是基于对来自英国情报界、其他政府部门、执法机构、军事组织、私营部门公司的实践者和政策制定者以及学术和法律界专家、民间社会代表进行深入咨询基础上取得的。与此同时，本文也参考了现有关于AI和国家安全的学术文献、研究报告和政府文件。
本文的发现是作者独立研究和分析的结果。由于该主题的敏感性，在与项目合作伙伴协商后，某些特定内容已被省略或删除。但这些修订不会影响整体的研究结果或结论。
本文的结构如下。引言部分简述了项目的背景和所考虑的问题。第一章考察了本研究发现的国家安全背景下AI的潜在应用。第二章总结了影响英国情报界数据使用的法律框架，然后评估了AI的国家安全应用引发的法律和道德特殊考虑。最后，第三章总结了现有AI指南、法规和监管框架，然后考虑了在国家安全背景下所需的其他特定部门指南和监督机制。
研究背景
英国持续面临各种来源的严重的国家安全威胁。英国情报界被寄予厚望保护公民免受生命安全威胁，并不断采用新方法以更有效地完成其职责使命。与此同时，公众希望这些机构能够不断适应和创新，并确保公民的权利和自由得到充分保证。对那些国家安全界人士而言，实现两者间的平衡将是一项重大挑战，特别是在技术发生巨大变革的时代。同时，公众舆论日益聚焦对数据分析的治理和监管，人们越来越担忧现有架构难以适应AI治理和监方面的目的。
现代社会的“信息超载”也许是英国国家安全界面临的最大技术挑战。不断指数级增长的数字化数据需要运用更复杂化的分析工具以有效管理风险，以更主动地应对新兴安全威胁。对英国情报界而言，这种“创新的义务”也许更加迫切，考虑到AI的敌对性应用已经对英国的国家安全构成实实在在的威胁，例如：使用机器学习（ML）算法来增强网络攻击能力，生成恶意软件或实现虚假宣传活动自动化。在此种背景下，英国情报界有明显的动力实施先进的数据科学技术，以有效应对英国超级链接数字生态系统面临的未来威胁。
虽然AI为英国情报界提供了众多来提升现有流程效率和有效性的机会，但这些新能力引发了更多的有关隐私和人权的忧虑，需要在现有法律和监管框架内进行评估。最近的评论凸显了出于监视目的而实施AI和高级分析项目的潜在风险，特别是对个人权利的潜在影响。正如乔纳森·金（Jonathan H King）和尼尔·理查兹（Neil M Richards）所总结的那样：
问题在于，我们从以前未经检查的大量数据中揭示模式和新知识的能力，正在以超过我们当前的法律和道德准则所能管理的速度加快发展。我们现在可以做到几年前不可能完成的事情，并且已经摆脱了现有的道德和法律束缚。如果我们无法在新数字社会中保持我们所珍视的价值观，那么我们的大数据能力发展可能面临为了创新和私利而放弃这些价值观的风险。
解决这些问题已成为国家安全界的高优先事项。根据政府通信总部（GCHQ）的看法，“围绕AI和机器学习在国家安全领域的应用进行辩论是绝对重要的，这将提供答案和方法并获得公众的认可。”政府通信总部（GCHQ）进一步指出，“AI的应用受到道德约束并得到有效监管至关重要。”军情5处（MI5）即将卸任的局长安德鲁·帕克爵士（Sir Andrew Parker）先生同样表示其对AI特别感兴趣，“因为我们需要能够尽可能接近实时地了解成千上万人的数字生活”，但同时必须认识到“[技术]永远不会取代拥有人类洞察力的需求，因为技术和数据永远不会告诉我们人们的脑海中正在发生什么”。
大多数考虑中的AI方法正迅速地整个商业领域变得日益普及。但是，英国情报界还要接受关于数据获取和使用的更严苛的审查——私营部门却不用受到同样的审查和监管。此外， AI在国家安全领域中应用将比许多商业应用需要更高的鲁棒性和灵活性，并且所需许多能力很难从其他领域转化获得。
确保英国国家安全领域能够充分利用这些新技术带来的机会，需要明确和基于证据的政策，，并且不能损害社会和道德价值观或破坏公众的信任。
人工智能是什么？
当前没有公认的AI定义。但是，“通用AI”（具有人脑的代理、推理和适应性的机器智能）与“狭义AI”（经过训练可在某个需要独特技能的认知任务，例如下棋、驾驶汽车或翻译文件等方面表现良好的机器智能）之间常常会有所区别。目前所有的AI都可以称为“窄AI”。通用AI——如果的确可以实现的话——距离我们可能仍有几十年了。
狭义AI可以理解为“使机器能够有效执行高度复杂任务的一系列高级通用数字技术”。AI通常根据“执行通常需要人类智能的任务”的能力来定义，可被理解为包括六个子学科：自动推理；自然语言处理（NLP）；知识表示；计算机视觉；机器人技术和机器学习（ML）。
狭义AI的最新进展主要是由机器学习（ML）子领域的进步推动的。ML使计算机系统能够通过经验来进行学习和改进，其特征是使用统计算法来寻找模式、获取洞见或作出预测。算法可以定义为“一组数学指令或规则，特别是如果将其提供给计算机，将有助于计算一个问题的答案”。ML是一种特定类型的算法，可以在获得新数据之后的提高执行特定任务的性能。ML算法主要包括三种类型：有监督学习、无监督学习和和强化学习。
•在有监督学习中，代理“观察一些作为样本的输入输出对，并学习从输入映射到输出的函数”。例如，对于对象分类任务，训练数据可以包括许多不同类型水果的照片，以及定义每张照片中显示了何种水果的标签。如果训练出的模型在出现新的不熟悉的照片时能够正确识别水果的类型，则被认为是“通用化”模型。
•在无监督学习中，“即使没有提供明确的反馈，代理也能够学习输入中的模式”。例如，对于图像识别，训练数据可以是成千上张包括五种动物的独立照片，但没有标识动物的标签。如果该模型能够将照片正确地分成五组，每组包含一种动物的照片，则认为该模型表现良好。
•强化学习是一种目标导向的学习形式，在其中代理根据随时间推移获得的正反馈和负反馈改进任务执行。对于个性化推荐系统，强化学习可以根据人类听众以前的收听习惯为其推荐音乐。用户提供表明他们是否喜欢计算机推荐曲目的反馈。此反馈有助于算法学习用户的收听偏好，这意味着建议会随着时间的推移变得更加准确。
•半监督学习是机器学习的第四类，其所使用的数据集中，一些输入输出对已经被标签化，而很大一部分数据未被标签化。再来看前面水果分类的例子，可以在使用标签化子集进行微调之前，在整个训练集上对模型进行预训练（使用无监督方法）。
近年来，随着计算能力的指数级增长以及大型数据集可获得性的提高，机器学习（ML）的应用变得更加普及。在医疗保健领域，基于ML的图像识别应用于复杂的诊断任务，例如预测婴儿自闭症的风险或检测皮肤癌。地方议会正在部署ML算法，以帮助社区工作者确定案件的优先顺序，并确定最需要政府支持的家庭。在警务领域，ML算法被用于控制中心的预测需求，包括再犯罪概率，并根据犯罪的“处理难易程度”确定的工作优先级。随着“智慧城市”的发展，ML算法正日益被用于简化任务，诸如废物清理、交通管理和废水处理系统。未来几年，这些趋势将会持续下去，据英国政府人工智能办公室估计，到2030年，人工智能可以使英国经济增加2320亿英镑。
但是，需要重视的是，绝大多数AI的进步都是通过私营部门或学术界获得的。英国政府尚未充分利用这些机会。正如公共生活标准委员会总结的那样，“尽管引发了大量关注和评论，但我们有证据表明，英国公共部门对AI的应用仍比较有限。委员会观察到的大多数公共部门的AI案例子仍处于开发阶段或处于概念验证中。”未来几年，充分利用这些技术带来的机遇将是英国政府的高优先事项。
AI的国家安全应用
有关的最新评论强调了当今时代“信息超载”问题给情报机构带来的严峻挑战。正如格雷格·艾伦（Greg Allen）和塔尼尔·陈（Taniel Chan）所总结的那样，“现在有了更多的数据可用于分析并得出有用的结论，但如同大海捞针，发现有用的情报却变得困难得多”。
但是挑战不只存在于数量巨大这一个方面。大卫·安德森（David Anderson）在2015年的《调查能力评论》（Investigatory Powers Review）发表的报告中，全面阐述了包括不断变化的通信方式、服务提供商的碎片化、通信追溯的困难性、无处不在的加密以及新型数据源等因素，如何加剧了情报机构的“能力差距”。应对这些挑战需要开发更加复杂的分析工具，而AI将是构建此类新工具箱必不可少的组成部分。政府通信总部（GCHQ）公开表示，“在GCHQ这样的机构中，需要充分利用机器学习和AI的潜力来改进我们的工作输出。这使我们可以解决所面临的那些艰巨问题，提供有潜力的情报和国家安全解决方案，以前所未有的方式确保英国的安全。”
英国情报界可在很多领域应用AI技术，提升现有流程的效率和有效性。接下来将逐个讨论本研究所确定的潜在应用案例，如图1所示，可以将其大致分为三类：组织流程自动化、网络安全、增强情报分析。
Figure 1: National Security Uses of AI
组织过程自动化
对所有大型组织而言都一样，英国情报界应用AI技术带来的最直接益处就是提高组织、行政和数据管理流程自动化水平——在其中重复性任务占到总工作量的很大一部分。正如2016年白宫有关人工智能的报告中所总结的：“人工智能在短期内对经济的主要改变，将发生在使过去无法自动化的任务自动化方面”。这包括实现诸如人力资源和人事管理、物流优化、财务和会计等任务的进一步自动化。
AI的商业案例证明了其在改进管理流程方面的潜在优势。这些可以分为前台和后台性应用。在前台，可以将计算机视觉和自然语言处理（NLP）技术相结合，应用于诸如处理保险索赔表、照片的附属信息，引导用户信息存储库访问使其更快、更有效地执行查询决策，让聊天机器人充当电子商务网站第一接线员接待用户问询。在后台，AI可以帮助在扫描待处理发票图像时自动获取数据，在处理贷款请求时自动交叉比对申请表和补充文件所包含数据，以及自动整理行业公告或公司年度财报等包含的海量信息。类似地，高效利用AI技术可以显著减少整个英国政府的行政工作量，包括从提高房间预订、日常管理系统的效率，到管理工作申请或进行常规的背景检查。
对于英国情报界而言，提升合规和监管流程的自动化水平也可以显著提高效率。德国智库Stiftung Neue Verantwortung（SNV）最近的一份报告，分析了七种“数据驱动的情报监管”的工具，以使监管机构能够“进行突击检查以及对情报机构的数据处理进行（半）自动审计”。AI技术被认为可应用于这些过程中的任何环节。例如，报告作者提出了一种“隐藏模式检测器”来发现不正当的数据库使用和“疑似不合法活动”，这表明“分析日志文件的选项范围从简单的描述性方法到复杂的机器学习或统计分析技术，应有尽有”。授权和监管流程的自动化不仅可以确保被监管实体遵守相关的法规要求，同时可以解放监管机构工作人员，使其有时间对更复杂的技术问题进行审查和提出建议。
网络安全
应对现今的网络安全威胁所需的响应速度已远远超过了人类决策所能达到的速度。鉴于恶意软件攻击的数量和频率不断增加， AI网络防御系统被越来越多地用来主动检测和缓解威胁。传统的反病毒方法基于将已知病毒特征列入黑名单的方法来应对威胁，而基于AI的反病毒方法则可以对恶意软件行为进行认知，而无需依赖预定义列表。人工智能网络安全公司Darktrace在最近的一份报告中总结道：
传统的安全工具通常可以发现大行其道的已知威胁，而AI可以唯一地帮助发现未出现过网络威胁的微小信号。近年来，随着高级网络罪犯不断开发新颖的战术、技术和流程来躲避已预置的包括过去攻击特征的控制措施，这种能力已成为必备的需求。34
类似的，可以对基于AI的网络检测系统进行训练，使其可以了解哪些是组织网络中的“正常”活动，从而可以基于日志数据分析发现异常网络流量并进行实时响应。同样，这些技术可用于发现和识别可能提示存在内部威胁的异常系统活动。《网络安全内参》（Cybersecurity Insiders）2018年的一份报告发现，“86%的组织已经或正在部署内部威胁发现项目”，其主要基于入侵检测和防御（IDS）、日志管理和安全信息和事件管理（SIEM）平台”。
用户认证是AI在英国情报界应用具有潜在价值的另一个领域。近期研究主要集中于利用所谓的“行为生物指标”技术，基于用户数字活动的独特性来识别用户，例如用户如何使用鼠标或在文档中组织句子。此类主动身份认证系统可以确保用户在初始登录后，持续进行用户身份认证来增强网络安全性。
增强情报分析
AI辅助的情报分析可以显著从非结构化和分散的数据集中获得的洞察力中受益，进而提高情报工作流程效率，并通过最大限度地减少需要人工审查的内容量来降低附加的入侵。
AI辅助情报分析的潜在案例例大致可分为三类：
1. 人类感知处理相关的认知自动化（尤其是自然语言处理和视听分析）；
2. 过滤、标签和分类通过批量收集的大规模数据，这是交互式人机分析工作流程的一部分；
3. 行为分析以获取各主体级别的洞见。
认知自动化
一个AI可带来明确的潜在益处的领域可以描述为“认知自动化”，这意味着对人类感官处理（特别是自然语言处理和视听分析）的机器复制。此类自动化将显著减少人类操作员分析大量数据所需的时间，同时也可以通过最小化需要人工检查的内容量来减少入侵机会。
有效地使用语音到文本的转换能力可以大大减少处理音频数据（例如监听材料）所需的人力资源。机器翻译还可带来更明确的益处，既可以用于转换后的文本，也可直接用于音频数据。另外，说话人识别技术可以实现用有效的方式搜索大量语音数据。近年来，语言分析取得了长足进步。2019年2月，OpenAI组织宣布其训练了一种名为GPT-2的大规模非监督语言模型，该模型可生成了连贯的文字段落，在许多语言建模标准集上测试均达到了最先进性能，可执行基本的阅读理解、机器翻译、问题解答和摘要。最近的研究还表明，基于对样式特征的语言分析，机器学习技术可用于作者身份追溯。
人工智能还可以提高视频数据处理的效率。目标分类和面部匹配可以大大减少分析人员花在视频片段上的手动拖曳时间。另一个好处是能够自动化地对暴力或性滥用材料进行分类，以保护分析和调查人员免受有害内容的伤害。另一个令人感兴趣的领域是视频自动摘要。这类案例包括使用机器学习算法，通过截取能准确捕获原始视频内容和上下文的关键帧，来生成视频的唯一摘要。这可用于识别随时间推移发生的更改，并为分析师创建一个凸显变化的视频。在军事领域，软件工程研究所（SEI）为美国军事组织开发了一个多阶视频摘要流水线，旨在向作战人员通知重大事件，例如在道路上植入了爆炸装置等。SEI认为，该项目的长期目标是“跨多个视频识别和搜索生活模式，最终目标是预测未来的活动和事件”。
过滤、标记和分类
据公开报道，英国情报界采用一系列自动数量压缩系统处理所收集的大规模数据，以查询、选择和过滤出要分析的材料。将AI集成至这些系统可提高过滤流程效率，确保人工操作人员只能访问与当前分析任务最相关的信息，仅而最大程度地减少了附带入侵。正如美国国家研究委员会2015年有关大规模信号情报收集的报告中所总结的：
没有任何基于软件的技术能够完全取代大规模信号情报，但是可以开发某些方法更有效地进行有针对性的收集并控制收集数据的使用……收集数据自动隔离系统，可以限制对这些数据进行的查询，这些数据的审计性应用有助于加强隐私保护并缓解一些公民自由担忧。
安德森勋爵（Lord Anderson）2016年领导开展的“大国力量评论”（Bulk Powers Review）报告中详细介绍了政府通信总部当时如何进行大规模监听。该报告描述了大规模监听的3个阶段：即收集、过滤和选定检查目标。首先，根据对通信内容潜在情报价值的估计来选择被侦听线路。然后，对选定线路流量进行一定的过滤，依据“选择具有潜在情报价值的通信，同时丢弃那些最不可能具有情报价值的通信”。最后，“对其余的通信进行查询，包括简单的[与单个目标有关]和复杂的[组合多个标准]，以发现具有情报价值的通信”。由于收集到的数据量很大，即使在通信涉及特定的目标对象时，也需要进行分类处理以确定哪些内容最为有用。“分析师会基于其经验和判断来决定查询返回结果中哪些最有情报价值，并将只检查这些结果”。调查权力专员办公室（IPCO）在其最新年度报告中指出，“我们相信分析人员不会对大规模收集数据中的大多数数据进行审查，尽管其会依据特定标准自动筛选这些数据，以确保安全机构能够获得与其运作相关的情报 ”。
如果得到有效部署，则AI可以比人类操作员更有效地发现多个大规模数据集内部和彼此之间的联系和关联，从而提高筛选和过滤过程的准确性。但是，必须区分使用AI发现感兴趣内容并提醒操作员与应用行为分析方法来检测或“预测”可疑活动之间的重大区分（这将在下接下来进一步讨论）。为了从海量数据中提取情报，将AI部署为交互式“人机团队”分析工作流一部分时，其将发挥最大作用。
可以说，通过最小化人工审查内容量，AI在搜索或过滤海量收集的数据时，潜在地减少了入侵风险。但也有人认为，机器分析不一定天生就比人工审查具有入侵性。该问题将在第二章中进一步讨论。
行为分析
“行为分析”可以被认为是将复杂算法应用于个人数据以获取洞见，生成预报或对未来人类行为进行预测。情报机构可以通过多种假想方式实施AI来预测未来的行为。这些方法包括内部威胁检测、预测公共生活中针对个人的威胁、发现易于被说服的潜在情报来源以及在恐怖活动发生之前进行预测。
近年来，将行为分析用于反恐目的已经引起了公众的广泛关注。2017年伦敦和曼彻斯特袭击事件之后，军情5处（MI5）和反恐警察局联合开展的运作改进评估（Operational Improvement Review）提出了“逐步改进”组织利用数据的方式。这包括“需要提高MI5和警方利用数据来发现所关注活动的能力，特别是有关封闭感兴趣对象（Subjects Of Interest，SOI）部分，但也要与活跃SOI和以前未知的个人有关”。安德森勋爵（Lord Anderson）最近发布的“措施盘点”描述了“确定建立相关行为触发器所需的能力和数据”，这将通过“越来越复杂地使用AI和行为分析技术从大数据集中提取信息”来实现。该报告的结论是：
行为分析将继续存在，其技术可能不仅能有效改进对现有线索和SOI的风险评估，而且还可以发现目前可能不会引起当局注意的新线索。一些指标能帮助识别攻击前的即时行为，例如尝试获取枪支或研究攻击方法。更通用的指标，例如个人挫败感或基线行为的变化，当应用于已被怀疑的对象时，也可能有用武之地。
有大量学术研究探讨了临床性决策（任意的）与统计性决策（非任意）的相对优点，有关哪种方法更准确、合理或有用的争论仍在持续不断地激烈进行。从上世纪1950年代开始的许多经验研究已经表明，在许多学科和广泛的决策环境中，统计预测通常比非结构化临床判断产生更准确的预测。但是，专家们认为，在个体层面评估风险判断时，聚集的“预测准确性”评分会从根本上产生误导，有证据表明，结合一定程度专业判断的暴力倾向风险评估方法比单纯依靠统计方法产生的成功结果更好。最近使用大规模协作方法对生命成就进行预测的研究得出的结论是：“尽管使用了丰富的数据集并应用了优化预测能力的机器学习方法，但获得的最佳预测结果并不是非常准确，而且仅比简单基准模型的预测结果好一点”。
此外，由于恐怖分子暴力活动的频率相对较低，因此构成风险统计模型基础的历史数据语料库要少得多（与其他形式的暴力犯罪相比）。对学术文献中披露的历史案例的前期分析表明，犯罪者的背景、行为方式和动机以及最终导致其实施极端暴力行为的沉淀因素差异很大。因此，没有一致的恐怖分子“画像”。正如约翰·莫纳汉（John Monahan）所总结的那样，“现在的研究绝大多数都未能找到有效的非一般的（统计重要的）恐怖主义风险因素。如果不能确定有效的风险因素，就不可能对恐怖主义进行独立的风险评估。”将统计方法纳入恐怖主义风险评估流程的另一项担忧是可能会丢失有关的上下文信息，在作出与个人的行为模式或意图有关的判断时应考虑这些信息。
考虑到这些限制，与其试图“预测”个人行为，莫如将精力集中在开发所谓的“增强情报”（AuI）系统以支持人工分析。这是通过整理来自多个来源的相关信息，并标记重要数据项以供人工检查来实现的。在评估行为意图或个人心理状态变化时，一定程度的人工判断是至关重要的。如Palantir的隐私权和公民自由工程小组最近的一篇文章所述：
AI被高估了。机器的作用不是替代而是促进人类推理。增强情报（AuI）能够帮助情报机构应对数据泛滥，它使人类分析师能够以更透明和负责任的方式作出数据驱动的决策
…
计算机程序可以有效地增强人类智能，通过为分析人员提供统一的数据平面并以直观形式呈现来实现这一点。对于在情报机构工作的分析师而言，这可能意味着将存储在文档、报告和表格中的数据转换为人员、对象和事件，并以图形可视化其之间的关系。增强情报的目标不在于提供答案，而是使相关领域主题专家能够提出正确的问题。提出正确的问题反过来帮助人工分析人员有效地筛选大量杂乱数据，以查找真正重要的信息。
2020年2月，大都会警察局长克雷西达·迪克（Cressida Dick）在RUSI年度安全演讲中强调了这种观点：
因此，我将与其他许多人一起谈论增强情报。我不会将所有维持治安的希望和恐惧都放在所谓的“人工智能”上……这个词更好地描述了技术如何能改善人类智能而不是取而代之。这与我们在警界事务中使用技术的方式更加接近。我还相信，以这些人类术语来授权运营技术的许可，能更加满足公众期待并便于被接受。
总而言之，本文所考察的证据表明，尝试开发AI系统来“预测”个体层级的人类行为既不可行，也不可取，例如，出于反恐风险评估的目的。尽管如此，增强情报——使用AI系统整合来自多个来源的有关信息并标记重要数据以便人工检查——在这种情况下，具有明显的潜在优势，并能提高一个主题分析任务的效率。但是，需要注意确保不“筛选出”特定案例的相关上下文信息，因为在历史数据中此类信息在统计上并不重要。
敌对性AI
毫无疑问，恶意行为者将寻求使用AI攻击英国。最有能力的敌对国家行为者，不受同样的法律框架约束，可能正在开发或已经拥有了进攻性AI能力。随着时间的推移，包括网络犯罪组织在内的其他威胁制造者也将能够利用这类创新带来的优势。因此，考虑到未来反击可能使用AI的对手，国家安全对AI的要求就显得尤为迫切。本文将这些威胁分为三类：对英国数字安全、政治安全和物理安全的威胁。
数字安全
未来几年，基于AI的恶意软件造成的威胁可能会进一步增长和发展。特别是，采用复杂模糊算法并经常改变其可识别特征的多态恶意软件将会拥有一定程度的自适应性，从而使其几乎无法被基于特征和基于行为的防病毒软件检测到。基于AI的恶意软件可以主动确定网络上最易受攻击的目标，以迭代方式适应目标环境并通过一系列自主决策实现自我传播，从而潜在地消除了对指挥和控制（C2）通道的需求。进一步值得关注的问题是，恶意软件使用域名生成算法来连续生成大量域名，作为被感染设备和C2服务器之间的结合点，这将使成功关闭僵尸网络变得相当困难。
自动化的社交工程攻击是另一个潜在的威胁。通过收集受害者的在线信息，攻击者可以自动生成诱导受害者点击的量身定制的恶意网站、电子邮件和链接（例如，仿冒来自其真实联系人的地址）。在这一领域的进一步发展可能被观察到，聊天机器人在持续时间更长的、更富创意的在线聊天中赢得人类信任。
英国经济各领域越来越多的AI应用，也将带来新的可被威胁制造者利用的漏洞。供应链对训练数据的攻击（“数据中毒”），可能导致AI系统产生不稳定且无法预测的行为，或者允许攻击者安装“后门”以控制系统，例如，通过训练算法，将特定恶意软件分类为正常软件。
政治安全
基于“深度仿冒”（deepfake）技术合成媒体的出现及其对民主进程的影响近来引发了广泛担忧。深度仿冒采用机器学习算法将现有媒体片段（例如个人面部图像）混合或叠加到原始内容之上。2019年5月，三星的研究人员展示了一套AI系统，该系统能够仅根据某人的一张照片就能创建其讲话的视频。此类技术的破坏性影响力在英国2019年大选前夕得到了展示，“未来主张”（Future Advocacy）研究机构和艺术家比尔·波斯特（Bill Posters）制作了一段深度仿冒的视频，显示候选人鲍里斯·约翰逊（Boris Johnson）和杰里米·科宾（Jeremy Corbyn）相互支持对方担任首相。这旨在警告公众AI技术将会怎样被用于加剧虚假信息影响，侵蚀信任并损害民主。在2020年美国总统大选前夕，专家们表达了他们对“非常有可能的视频或语音深度仿冒技术应用对选举造成实际影响”的担忧。
目前，媒体鉴定专家可以轻松识别修改后的数据。但是，在选举等紧张敏感时刻，仅仅能识别假视频可能有些太迟了。更进一步地，考虑到数字内容在网上的快速传播，人们有理由担心，掌权者可能会基于虚假信息作出反制决策，这可能导致灾难性后果。
物理安全
当前，几乎没有实际案例可用来说明AI如何实现武器化以对物理安全构成直接威胁。一个值得关注的领域是恐怖分子对商业AI的改造型利用，例如，使用无人机和自动驾驶汽车进行自杀式爆炸性袭击或造成严重撞机。随着AI应用的日益普遍化，这类风险可能会进一步增加：据估计，到2035年，英国和整个欧洲联网的自动驾驶汽车普及率将达到汽车总销量的31％。此外，AI很可能使以前需要高等级攻击能力完成的任务转变为低技能人员可以毫不费力完成的任务。这可能以“蜂群攻击”的方式发生，其中“以机器速度协同的自主机器人系统构成的分布式网络，提供无处不在的对大范围地域和大规模群体的监视，开展快速、协调化的攻击”。
越来越多的物联网（IoT）技术正在被采用，“智能城市”的出现以及相互连接的关键国家基础设施将带来许多新的漏洞，威胁制造者可以利用这些漏洞进行破坏甚至颠覆。尽管这些潜在的物理威胁尚未真实发生，但情况可能会迅速发生改变，这需要政府机构采用更积极的方法来在其蓬勃兴起前预防和挫败基于AI的安全威胁。
结论
AI在增强情报工作方面具有许多潜力有待挖掘。充分利用这些机会需要建立标准化的流程，以在其真实的操作环境中开发、测试和评估新的AI工具。各类机构可能试图以多种方式部署AI，其在数据需求、对决策的潜在影响和道德影响等方面具有很大的差异。许多用途是毫无争议的，其主要目的是减少处理大量数据所需的时间和精力，在以前主要是靠低效率的手工方法来处理大规模数据。其他用途可能会引起复杂的隐私和人权问题，需要构建相应的流程定期审查和重新评估任何潜在入侵的必要性和适当性，以及用于构建模型的训练数据选取和可以用于嵌入决策过程的算法。在任何新的AI项目开始之初，都需要内部流程来评估潜在的隐私和人权影响以及因此需要的监管水平。
英国情报界在严格的法律框架限制下运作。近期行动计划制度使各机构在获取数据和应用调查技术方面受到更多层级的严格审查——相比而言，私营部门却不受审查和监督。设备干扰和大国侦听等情报收集能力在2015年之前一直处于秘密状态，现在已经被公开宣称为英国情报界技术工具包的重要组成部分。然而，由于AI的引入了带来了许多其他需要考虑的事项，这意味着需要加强政策和指南的制定，以确保以合乎道德准则和负责任的方式部署AI分析能力，并恰当地考虑诸如必要性和相称性、透明性和问责制等问题，以及随之而来的入侵风险。
关于AI的道德使用的担忧是高度主观的，需要具体情况具体分析。专家们在一些基本问题上仍然存在着分歧，例如与人工审查相比，机器分析的入侵性相对水平。尽管道德性原则存在泛化倾向，但对于如何在不同部门实施这些原则以及由谁来负责监督和审查，仍然缺乏明确的认识。
此外，对英国情报界至关重要的是，继续与外部利益相关方加强合作，为内部指导AI等新技术应用的政策制定提供信息。除了加强与其他政府部门和负责监管的部门的互动外，还应充分吸收民间社会组织和其他公共利益团体的意见，以及借鉴其他部门在开发和部署AI方面获得的经验教训。
https://rusi.org/sites/default/files/ai_national_security_final_web_version.pdf
声明：本文来自关键基础设施安全应急响应中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
