在新技术驱动的当代，人工智能、机器学习等技术已经成为各国军队着力追求的“战争奇点”，各种基于算法运行的军用无人机、机器人、作战平台纷纷涌现，不断塑造着现代战争的新格局。但是人工智能装备突然失灵了，会出现什么后果？
新美国安全中心高级研究员保罗·沙雷在《外交政策》杂志（2018年秋季号）撰文，以股票市场出现的“闪崩”现象做对比，论述了人工智能装备“闪崩”的可能性，及其带来的重大危害。现由学术plus编译全文，仅供参考。文章版权归原作者所有，观点不代表本机构立场。
人工智能“闪崩”，战场将会怎样？
来源：https://foreignpolicy.com
作者：plus评论员 刘栋
2500年前，中国军事家孙子有言：“兵贵神速。”当前，世界各国大力发展自主运行的无人机、导弹和网络武器，谋求以更快的速度应对战场上瞬息万变的局势，正是孙子这一论断的新发展。在当前智能机器的反应速度远胜人类的背景下，中国军事专家预测：“战争奇点”即将到来，人类的决策水平已经越来越跟不上战争的节奏。
人类放弃对战争进程的控制影响极其深远。让机器主宰战场优势显而易见，可是一旦出现意外导致冲突失控，那后果将是灾难性的。类似的风险就出现在股票市场。那些依托计算机算法做出的投资决策在几微秒内能创造数百万美元的利润差异，既可以让经纪人赚得体满钵满，也能让市场闪电崩盘。为此，监管机构通过“熔断机制”，停止价格波动过快的股票交易，达到化解风险的目的。与之相比，战场缺乏容错机制，一旦战争因意外而闪崩，将会制造一场彻头彻尾的灾难。
在某些军事领域，人类已经将控制权赋予了机器。以色列、俄罗斯、美国等至少30个国家使用人类监督的自主化武器保卫军事基地、车辆和舰艇。例如，舰载宙斯盾系统可以在无人操作的情况下，自动探测来袭的火箭和导弹，自主化解敌人实施的“饱和攻击”，人类操作员只负责对武器进行监督，在必要时进行干预。未来的自主化武器系统很可能将不再有人类操作员进行监督。例如，美国、俄罗斯、中国等国家正在研发渗透进敌方空域的隐形战斗无人机。一旦深入敌后，这些无人机的通信就可能被干扰，为此，各国设计的无人机都要具备自主运行功能。
大多数国家没有透露其无人机在此情况下将如何运行，也没有说明要遵照何种交战规则。各国都会对无人机发动的攻击进行授权，这样做将有效摧毁预先批准的固定目标。如果要打击新发现的目标，那无人机必须汇报相关情况并获得批准。
这种方法在理论上可行。但“兵无常势，水无常形”，能够对动态环境做出快速反应才是战斗成功的关键，空中、地面和网络空间的战斗皆是如此。基于此，空军战略学家约翰·博依德提出了OODA循环模型，即观察—定位—决策—行动。在该模型下，飞行员能够赢得空战胜利不仅仅是因为他们拥有最好的硬件设备，而是因为他们比对手能更快地评估情况并做出反应。由于机器比人类反应速度快的多，在面对机动性较强的防空系统、导弹发射器等高优先级目标时，军事规划者越来越倾向于将打击决策权委托给机器，以在短时间内实现决策优势。这也正如美国参谋长联席会议副主席保罗·塞尔瓦将军在参议院军事委员所言：“人工智能提高了指挥控制的速度和准确性，在太空和网络空间等复杂战场中，现代机器人技术提高了机—机互动的速度。这一切必然会让见证者叹为观止。”
速度也绝非只带来好事。如果一支部队对敌人的反应过于迅速而指挥官都不了解战场上的状况，那指挥控制就会出大问题。这是军队将领数千年来都一直要解决的。
为此，军方往往用“指挥官意图”这一概念来解决上级命令和战场实际之间的矛盾：指挥官向下级发出简洁且具有目标导向的指令，说明任务的预期目标，从而确保下级既能坚持总体计划，又能灵活的适应战场状况，以创新的方式克服障碍。
问题是自主化系统——至少是当前的系统——只擅长在可预测的环境下处理日常任务，一旦出现新情况就有可能无法正常运转。这也是为什么与无人机相比，研发在动态环境中运行的无人驾驶汽车难度更大。
机器学习侧重于用一套规则处理数据并在无需指令的情况下按照数据行动，其虽然灵活性更强，但却受制于信息的质量。如果现实世界与其训练模型不同，机器学习就会失败，而在军事对抗中我方无法轻易获得敌人的战术和硬件状况服务机器学习。人类智能在机器智能尚未成熟的方面具有强大的适应性。因此，最好的军队会将人类智慧与机器智慧成功结合，发展为联合认知系统，防务专家将之称为“半人马作战模式”。
尽管人类在决策方面拥有优势，但对决策速度的追求会将人类慢慢挤出OODA循环模型。军方不会有意列装其无法掌控的武器，但战争的危险会要求用竞争达成平衡。因此，要么落后于敌人，要么列装先进但未经充分测试的武器，军方在二者取其一的抉择中必然会选择后者，以竭尽所能与敌人形成均势。
如上所述，自动化股票交易提供了一个观察动态风险的窗口。2010年，道·琼斯工业指数在短短几分钟内蒸发了近10％的市值，引发市场价格突变的部分原因就在于自动交易，其后来被称为“闪崩”。在过去十年中，金融市场定期都会遭遇此类或小规模的崩盘。虽然监管机构以“熔断机制”来终止股票交易不能防止意外出现，但却可以避免闪崩引发局势失控。
在股票市场的竞争环境中，算法很自然会出现意外情况。2010年道·琼斯股指闪崩的原因仍存在争论，但有一种可能是股票的自动卖出算法恰巧撞上了高频交易算法引发的剧烈市场波动。2012年，高频交易公司骑士资本集团差点因算法出现的意外而破产。当时软件升级中出现的一个小故障导致骑士资本集团的计算机闪电般执行了一系列错误的交易。当控制住“脱缰”的算法之时，骑士资本集团已经执行了400万笔交易，净损失4.6亿美元，超过公司资产总值。1994年，流氓交易员尼克·利森用了2年时间搞垮了巴林银行，而华尔街一台机器只用了45分钟就达到了同样的效果。
为防止军事领域发生类似的危机，各国必须在速度优势与意外风险之间寻求平衡。然而，日益激烈的竞争提升了达成此类平衡的难度。2016年，时任国防部副部长的罗伯特·沃克曾有声有色的对此问题进行总结：
如果我们的竞争对手变成了‘终结者’，而‘终结者’能够更快地做决策，那我们该如何应对呢？
美国海军前部长理查德·丹泽认为，官僚机构低估了所用武器出现意外事故的风险概率。股票交易系统故障最多导致公司破产，但不会造成人员伤亡，而“脱缰”的自主化武器可就危险得多。
2003年伊拉克战争期间，美陆军“爱国者”防空系统操作员将雷达置于非标准状态，使雷达因电磁间的相互干扰而生成了一条“幽灵轨迹”——雷达凭空显示出一条导弹来袭的信号。处于自动模式下的防空系统随即开火进行拦截，而1架海军F-18战斗机恰好在错误的时间出现在错误的地方，酿成误伤悲剧。
伊拉克战争初期，盟军派出飞机4.1万架次，部署了60多个“爱国者”导弹系统，大大提高了误伤这种低概率事件发生的可能。如果是换成人类无法操控的自主化武器系统出现意外故障，不但会导致大规模的自相残杀、平民伤亡，甚至会出现对敌人的无计划攻击，造成更为严重的后果。
过去几个世纪，禁止或管制某类武器的使用取得了一定成果。例如，禁止使用生化武器、激光致盲武器、地雷、集束炸弹，禁止将环境作为武器，不得在太空部署武器等。但更多的军控努力却并不成果，如禁止空袭城市、规范潜艇战、消除核武器等。联合国于2014年开始举行一系列会议，讨论自主化武器的危险，但其进展远落后于技术的发展。
幸运的是，越来越多的声音开始呼吁禁止使用自主化武器。自2013年以来，已有来自32个国家的76个非政府组织参加了“停用机器人杀手全球运动”。迄今为止，已有近4000名人工智能和机器人研究者签署了禁止使用自主化武器公开信。超过25个国家政府对此表示支持，但没有一个军事强国参与其中。即使所有国家都同意限制发展自主化武器，但对其他国家的不信任和武器核查的困难也会引发新的军备竞赛。制定一条宽松的法规可能更为现实且会减少部分风险，例如禁止使用针对人员的自主化武器，制定自主化武器的交战规则等，但这也意味着各国可以肆无忌惮的发展多种型号的自主化武器，从而造成更广泛的破坏。
人类站在新时代的战争门槛上。在这个时代，机器将以超出人类理解能力的速度做出生死决定。这样一个世界的风险真实存在且影响广泛。自主化武器可能会瞬间意外的导致灾难性死亡和破坏。对完全自主化武器的狂热追求很可能将使人类放弃对战场的控制权，但如何使用这些技术的决定权却依然握在人类自己手中。
声明：本文来自学术plus，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
