编者按
美国《外交事务》杂志5/6月刊刊登新美国安全中心保罗·沙雷的文章“杀手App—人工智能军备竞赛的真正危险”，保罗·沙雷曾编撰《自主武器和未来战争》，并担任过美国国防部长办公室担任特别行动官，他认为，政府官员应降低有关人工智能军备竞赛的言论，因为此类言论很容易变成自我预言的实现。人工智能军备竞赛的认知将促使各国急于部署不安全的人工智能系统，如果基于这些具有瑕疵的人工智能设备发动网络攻击，那结果对于每个相关者都是灭顶之灾。因此在人工智能军备竞赛中，人工智能技术不仅给那些输掉比赛的国家带来了威胁，对那些赢得比赛的国家同样存在风险。
全译文如下：
俄罗斯总统普京曾在2017年宣布，引领人工智能发展的国家将“成为世界的统治者”。目前，这种观点在全球各国已成为共识，数十个国家政府出台了国家人工智能计划。2017年，中国制定了到2030年成为全球人工智能引领者的目标。今年早些时候，白宫发布了美国人工智能计划，美国国防部也推出了一项人工智能战略。
但关于“人工智能军备竞赛”的叙述，反映出人们对人工智能风险的一种错误认知，并由此带来了巨大的新风险。对于每一个国家，真正的危险并不是在人工智能领域落后于竞争对手，而是竞争的认知将促使所有参与国急于部署不安全的人工智能系统。在它们渴望胜利的过程中，这些国家和他们的对手一样面临着危险。
人工智能能给从医疗保健到交通运输等领域带来巨大的好处，但同时也存在巨大的风险。但这些风险并非来自科幻小说——没有必要害怕机器人起义，真正的威胁将来自人类自身。
目前，人工智能系统功能强大但并不可靠。许多人工智能设备很容易受到复杂攻击的影响，或者在训练环境之外使用时失灵。政府希望他们的系统能够正常运行，但是竞争带来了“抄近路”的压力。即使其他国家还没有处于重大突破的边缘，但必须迎头赶上的看法也会促使他们朝着这个目标前进。如果政府一旦部署了一项未经测试的人工智能武器，并基于这个具有瑕疵的人工智能设备发动网络攻击，那结果对于每个相关者都是灭顶之灾。
决策者应该从计算机网络的历史中吸取教训，并将安全作为贯穿人工智能设计的主导因素。他们还应该减少关于人工智能军备竞赛的言论，并寻找与其他国家合作的机会，以减少人工智能带来的风险。一场关于人工智能安全的比赛是一场没有人会赢的比赛。
人工智能的崛起
最直接的人工智能系统通过遵循人类事先设定的一系列规则来执行任务。这些所谓的“专家系统”已经存在了几十年。它们现在无处不在，以至于我们几乎不会把飞机自动驾驶仪或报税软件背后的技术想象成人工智能。但在过去几年，数据收集、计算机处理能力和算法设计方面的进步，使研究人员得以利用一种更灵活的人工智能方法——机器学习——取得进展。
在机器学习中，程序员并不直接编写规则；机器通过分析给予它们的数据来形成规则。如给算法提供成千上万张有标签的目标照片，它就会学会将图像中的规律与物体的名称联系起来。当前的人工智能热潮始于2012年，当时研究人员利用一种名为“深度学习”的机器学习技术取得了突破，这种技术依赖于深度神经网络。神经网络是一种人工智能技术，灵感来自生物神经元。生物神经元是通过发送和接收电脉冲与其他细胞通信的细胞。人工神经网络从一张白纸开始：它什么都不知道，系统通过调节神经元之间连接的强度来学习，强化正确答案的某些通道，弱化错误答案的连接。深度神经网络(负责深度学习的类型)是一个神经网络，在输入层和输出层之间有许多层人工神经元。这些额外层在不同路径的强度上有很大的灵活性，从而帮助人工智能应对更广泛的环境。
系统究竟如何学习取决于开发者利用哪种机器学习算法及使用哪种数据。许多方法使用已经标记的数据(称为“监督学习”)，但是机器也可以从没有标记的数据(“非监督学习”)或直接从环境中(“强化学习”)学习。机器还可以受训于合成的、计算机生成的数据。自动驾驶汽车公司Waymo已经在公共道路上行驶了超过1000万英里，但该公司每天还会在计算机模拟中记录1000万英里，这让它能够在数十亿英里的合成数据上测试自己的算法。
自2012年深度学习取得突破性进展以来，研究人员已经开发出了在人脸识别、物体识别、语音抄写和玩复杂游戏(包括中国棋类游戏《围棋》和实时电脑游戏《星际争霸》)方面，可以媲美甚至超过人类最佳表现的人工智能系统。深度学习也开始超越更古老的、基于规则的人工智能系统。2018年，一种深度学习算法击败了目前的国际象棋计算机程序，该算法在一台巨大的超级计算机上只花了4个小时，在没有任何人类训练数据或手工编码规则的情况下，与自己对弈了数百万局。
研究人员目前正将人工智能应用于一系列现实问题，从诊断皮肤癌到驾驶汽车，再到提高能源效率。根据咨询公司麦肯锡(McKinsey)的估计，在美国，几乎一半的有偿工作都可以用现有的技术实现自动化(尽管只有不到5%的工作可以完全被取消)。人工智能工具也变得越来越普遍。大型组织最有可能取得重大突破，这要归功于它们积累的大量数据集和巨大计算的能力。但许多由此产生的人工智能工具在网上可供任何人使用，免费的编程课程教人们如何制作自己的人工智能系统，训练有素的神经网络也可以免费下载。人工智能的易访问性将推进创新，但将强大的人工智能工具交到任何想要它们的人手中，也将帮助那些作恶者。
人工智能会做什么
无论哪个国家在人工智能领域领先，都能利用它获得经济和军事优势。到2030年，人工智能预计将为全球经济增加13万亿至15万亿美元。人工智能还可以加快科学发展的速度。2019年，人工神经网络在合成蛋白质折叠方面明显优于现有方法，而合成蛋白质折叠是生物学研究的一项关键任务。
人工智能还将彻底改变战争。人工智能已被证明对提高士兵在战场上的态势感知能力和指挥官的决策及传达命令的能力非常有用。人工智能系统可以比人类处理更多的信息，而且速度更快，这使得它们成为实时评估混乱战况的宝贵工具。在战场上，机器比人移动得更快，更精确，也更协调。在最近的AI对弈人类的星际争霸比赛中，人工智能系统AlphaStar展现了超人的能力，能够快速处理大量信息，协调其它单位，并快速准确地移动。在现实世界中，这些优势将使人工智能系统能够比人工控制更有效地管理大量机器人。虽然人类将在更高层次的战略中保持优势，但人工智能将在现实操作的基本层面占据主导地位。
美国政府之所以急于发展人工智能，是因为担心落后于中国。中国已经是全球人工智能领域的强国。中国科技巨头阿里巴巴、百度和腾讯与亚马逊、谷歌和微软齐名，成为领先的人工智能公司。去年获得资金最多的10家人工智能初创企业中，有5家是中国企业。十年前，中国到2030年成为人工智能领域全球领导者的目标似乎有些不切实际；但今天，这已成为现实。
同样让美国决策者感到担忧的是，华盛顿和硅谷在人工智能的军事用途上存在巨大分歧。谷歌和微软的员工都反对他们公司与五角大楼的合作，但中国的“军民融合”模式意味着中国的技术创新将更容易转化为军事收益。因此美国在人工智能领域保持领先，它也可能失去军事优势。面对另一个国家赢得人工智能竞赛的威胁，合乎逻辑的反应是将自己在人工智能上的投资增加一倍。问题在于，人工智能技术不仅给那些输掉比赛的国家带来了风险，对那些赢比赛的国家同样存在风险。
唯一的制胜招就是不参与竞争
如今的人工智能技术功能强大，但并不可靠。基于规则的系统不能处理程序未设定的环境。学习系统又受限于所训练的数据多少。人工智能的失灵已经引发过悲剧，正如先进的自动驾驶仪，虽然在某些环境下表现良好，但也会毫无预警地撞向卡车、路障以及停放的汽车。在错误的场景中，人工智能系统会瞬间从超级智能变成超级愚蠢。当敌人试图操纵和入侵人工智能系统时，风险甚至更大。
即使没有完全崩溃，学习系统有时也会用错误的方式来实现目标。在去年的一篇研究论文中，一组由52名人工智能研究人员组成的研究小组讲述了数十次人工智能系统表现出的令人惊讶的行为：一个学习在模拟环境中行走的算法发现，它可以通过不断跌倒来达到最快的移动速度；玩俄罗斯方块的机器人学会了在最后一块砖头掉下来之前暂停游戏，这样它就永远不会输；一个程序删除了包含正确答案的文件，从而获得了满分。正如研究人员所写，“从功能上讲，利用定量测试中的漏洞往往比实现实际期望的结果更容易。”意外似乎是学习系统的一个标准特征。
机器学习系统的好坏取决于他们数据的好坏。如果这些数据与系统的操作环境不相吻合，那这个系统则会在现实世界中失灵。例如，在2018年，麻省理工学院媒体实验室的研究人员发现，三个先进的面部识别系统在对深色皮肤的面孔进行分类时，远远不如对浅色皮肤的面孔进行分类。
当它们失灵时，机器学习系统也非常不透明。在基于规则的系统，研究人员虽不能预测但总是可以解释机器的行为。然而，对于深度学习系统，研究人员往往无法理解机器为什么会这样做。谷歌的人工智能研究员阿里•拉希米(Ali Rahimi)认为，就像中世纪的炼金术士一样，现代机器学习工程师可以取得强大的成果，但缺乏解释这些成果的基础科学。中世纪的炼金术士发现了现代玻璃制造技术，但并不了解这些突破背后的化学或物理原理。
人工智能系统的每次失灵背后都潜藏着一个可以被利用的漏洞。在某些情况下，攻击者可能会破坏训练数据。2016年，微软创建了一个名为Tay的聊天机器人，并为其申请了一个Twitter账号。其他用户开始在Twitter上发布攻击性信息，不到24小时，Tay就开始模仿他们所使用的种族主义和反犹太语言。在这个示例中，坏数据的来源是显而易见的。但并非所有的数据污染攻击都如此明显，其中一些可以隐藏在训练数据中，以一种人类无法察觉但仍能操纵机器的方式。
即使深度学习系统的创建者保护其数据源，系统仍然可能被所谓的“对抗性示例”所欺骗，在这种示例中，攻击者向系统提供错误输入以扰乱机器。如对卫星图像进行分类的神经网络可能会被欺骗，从而将细微修改过的医院图片视为军用机场，反之亦然。对抗性的例子甚至可以放在物理对象中。在一个案例中，研究人员创造了一只塑料海龟，它的外壳上嵌有微小的漩涡，这使得物体识别系统认为它是一支步枪。更糟糕的是，攻击者可以在不访问训练数据或底层算法的情况下，开发欺骗图像。与网络安全漏洞不同的是，目前还没有一种已知的方法可以完全应对这类算法攻击。
各国政府已经拥有大量测试军事、网络和监视工具的经验，但没有一种测试方法能够保证复杂系统在进入现实世界后不会出现故障。
测试人工智能系统通常比测试传统军事硬件花费更多的时间和金钱。它们的复杂性使它们更有能力，也为意外故障创造了更多的机会。想象一下，一个政府开发了一个人工智能系统，可以在不被发现的情况下侵入对手的计算机网络。第一个部署这种系统的政府将比竞争对手获得巨大的优势。由于担心对手也在开发类似的工具，政府不得不缩短测试时间，尽早部署系统。这种动力已经在其他行业发挥了作用，比如自动驾驶汽车。由国家安全人工智能工具引发的事故后果可能会严重得多。
安全第一
首要威胁需要紧急反应。决策者应对人工智能危险的最重要方法之一就是增加对人工智能安全研究的资助。企业正在花费数十亿美元为人工智能寻找商业应用，但美国政府可以在资助基础人工智能研究方面发挥重要作用，就像该领域早期以来所做的那样。由美国国防高级研究计划局运营的“人工智能下一步计划”(AI Next initiative)将在未来五年耗资20亿美元，旨在解决人工智能系统的诸多局限。在此基础上，白宫应该增加用于人工智能安全研究的资金，作为其全新的美国人工智能计划的一部分，白宫还应该要求国会为研发和安全研究提供额外的资金。
当涉及到将人工智能应用于国家安全时，政府机构将不得不重新考虑他们测试新系统的传统方法。仅仅验证系统是否满足其设计规范是不够的。测试人员还需要确保当对手试图击败它时，它将继续在现实世界中正常工作。在某些情况下，他们可以使用计算机模拟来找出漏洞。最重要的是，美国国防部、国土安全部和情报部门应该进行模拟演练——扮演攻击者角色，测试系统防御的团队——来找出人工智能系统中的漏洞，以便开发人员在系统上线之前修复它们。
政府官员还应降低有关人工智能军备竞赛的言论，因为此类言论很容易变成自我预言的实现。在2018年的一次会议上，五角大楼负责研究和工程的首席官员迈克尔格里芬(Michael Griffin)表示，“可能会有一场人工智能军备竞赛，但我们还没有参与其中。”军方肯定会采用人工智能，但格里芬的声明忽略了是对随之而来的风险的意识。关于军备竞赛的讨论是鼓励对手在安全问题上走捷径。政府官员不仅应该强调人工智能的价值，还应该强调保证可靠性和安全性的重要性。
最后，美国应该寻求与其他国家合作的方式，即使是对手国家，以确保人工智能的安全。在新技术方面的国际合作有好有坏，但有时各国成功地共同合作可避免相互伤害。在冷战期间，美国和苏联共同努力限制某些类型的核弹头运载系统。美国还鼓励其他国家采取安全措施，防止未经授权使用核武器。当前，美国应该与盟友和对手共同努力，增加国际上对人工智能安全的资助。它还应该开始与中国和俄罗斯共同讨论人工智能的某些应用是否会带来不可接受的升级或失控风险，以及各国可以采取什么措施来改善安全。
人工智能的大部分效果将是积极的。它将促进经济增长，帮助诊断和治疗疾病，减少汽车事故，改善人们的日常生活等。然而，与任何新技术一样，人工智能也有其阴暗面。现在正视这些风险是确保人类实现人工智能益处的唯一途径。
（参考资料，译文有删减，仅代表作者观点）
声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
