郝英好

CISS人工智能与安全课题组成员

中国电科发展战略研究中心专家

中国工程院人工智能安全发展课题组成员

随着人工智能技术的发展，人工智能已广泛应用到各行各业，推动人类社会发生广泛而深刻的变革。然而，人工智能技术是把“双刃剑”，人工智能也可能带来意想不到的安全问题。从无人驾驶汽车撞人到自主武器杀人，从脑机接口打造超级人类到人工智能自我复制，人工智能真的安全吗？特别是人工智能应用到军事领域，世界是否会陷入可怕的“人工智能军备竞赛”，而导致人工智能失控？

1、人工智能安全风险的根源

人工智能之所以给人类带来安全风险，一方面是人工智能技术不成熟造成的，包括算法不可解释性、数据强依赖性等技术局限性；另一方面是人工智能技术在应用和滥用过程中对不同领域造成的影响和冲击，包括对政治、经济、军事、社会伦理道德等的冲击和挑战。具体到军事领域，人工智能带来的风险和挑战，除了技术局限性和不成熟性带来的风险，还包括对现有战争机理的改变，对战略稳定性的冲击，对战争伦理道德的挑战等。本文仅选取智能情报系统的误判风险、辅助决策系统的安全风险、自主武器系统的安全风险三个方面进行分析。

2、智能情报系统的误判风险

基于人工智能技术的感知系统可广泛用于情报、监视和侦察任务，但是这种智能情报系统存在误判的风险。

首先，智能情报系统的视觉感知是基于已有的图象数据集进行训练，数据的数量和质量都会影响人工智能的情报判断的准确性。其次，人工智能的计算机视觉与人类的认知方法是不同的。人工智能系统在接受训练后能够对物体或人物图像进行识别和分类，但却并不能像人类一样理解对象的含义或概念。当面临新的图像数据集时就会做出错误的判断。再次，智能情报系统还可能被欺骗做出错误判断，即对抗样本攻击。例如，将一小块精心挑选的胶布粘贴到交通信号灯上能够使人工智能系统判断失误，把红灯判断为绿灯。2019年8月，来自莫斯科国立大学和华为莫斯科研究中心的两位研究人员公布了一项研究结果，只需要用普通打印机打印一张彩色贴纸贴到帽子上，就能使ArcFace等业内领先的人脸识别系统做出错误判断。在作战中，这种错误有可能导致对攻击目标的错误判断，误伤平民或者己方人员和设施。

思考：在战争中，如果采用对抗样本攻击故意使对方的人工智能系统无法分辨军人与平民，军事设施和民用设施，导致错误的攻击，谁承担责任？

3、辅助决策系统的安全风险

人工智能辅助决策系统在军事上的应用可加快数据处理速度，提高对象识别能力，提高人机交互水平。DARPA于2007年启动“深绿”（Deep Green）项目，将人工智能引入作战辅助决策，它通过对OODA环中的观察和判断环节进行多次计算机模拟，提前演示不同作战方案可能产生的各种结果，对敌方行动进行预判，协助指挥官做出正确决策。但是，辅助决策系统的安全风险也同样不可忽视。首先，战场环境的改变和战场的复杂性可能使人工智能系统做出错误判断，从而影响指挥官的决策。其次，如果战争双方均采用人工智能辅助决策系统，在战场上对抗双方部署的人工智能系统会使环境复杂化，超出一个或多个系统的解析力，进一步加剧了系统的脆弱性，并增加了事故和失误的可能性。第三，人工智能使决策流程和时间被大大缩短，国家之间因意外事件导致的冲突升级风险便大大提升。如果人工智能参与核打击的决策，后果将更加严重。美国国防部前副部长罗伯特·沃克曾以俄罗斯的“周长”核武控制系统为例说明人工智能不应参与管控核武器，因为它们会根据某些指标或数据做出错误判断，启动核武。在特殊情况下，人工智能可能会误判一些潜在威胁，从而更轻易地引发核战争。

思考：如果辅助决策系统显示敌人马上要对我进行核打击的概率是60%，我们应该如何抉择？先发制人，还是静观其变？

4、自主武器系统的安全风险

自主武器系统可以实现“非接触、零伤亡、低成本”的战争，降低了战争的门槛，很可能会导致武力的滥用。同时，自主武器系统无需人类干预自行决策的特点，割断了战场上人与人的情感关联，减少了攻击方的负罪感，有可能引发人道主义危机。由于缺乏价值判断和主观考量，自主武器系统或者无法合理评估对平民或民用物体的伤害，做出错误的攻击行为，违反相称性规则。如果自主武器无法适应战争态势和环境的变化，自主武器系统还可能违反区分原则，误伤平民。而如果允许自主武器适应环境变化，实现自我进化，则有可能失去人类控制。

自主武器系统迫使人类重新思考战争法的主体界定、适用范围和基本原则等多内容，使现有的战争法面临严重的考验。

思考：在各利益相关方都事先认可人工智能具有“自我进化”可能性的情形下，程序“自我进化”导致的后果，该由谁负责？“谁制造谁负责”、“谁拥有谁负责”？还是“谁使用谁负责”？

5、人工智能安全治理

目前，人工智能正逐步应用到军事领域，人工智能带来的风险和挑战也越来越严峻。如果不对其进行有效限制，人工智能一旦脱离人类期望的发展方向，其带来的危害也将是巨大的，甚至是毁灭性的。在武器开发过程中，要坚持有效人类控制的原则。包括开发和使用过程中的控制。因此，应当给人工智能打造一套“规则”的牢笼，使其更好地服务人类。目前，社会各界已开始采取行动，包括加强人工智能安全监管，制定人工智能原则，制定人工智能安全标准，发展可解释的人工智能技术等。

声明：本文来自清华大学战略与安全研究中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。