文  | 南京邮电大学信息产业发展战略研究院首席专家 中国通信学会网络空间安全战略与法律委员会副主任委员 王春晖教授

新一代人工智能（AI）作为一项具有颠覆性的技术，正成为影响未来社会最重要的技术领域，世界各国纷纷出台AI国家战略，助力AI的创新与发展。然而，在AI的发展进程中，安全与风险问题也随之上升到前所未有的高度。AI的风险与威胁，不仅会导致法律、伦理等方面的风险，同时，会引发社会、经济、军事等重大领域的风险与安全。

2017年7月，国务院发布的《新一代人工智能发展规划》明确要求，在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。2018年10月，习近平总书记在主持中共中央政治局第九次集体学习时强调，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。要整合多学科力量，加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。

一、关注AI致命性自主武器对人类的威胁

2017年11月，七十多个国家的代表出席了在日内瓦举行的联合国《特定常规武器公约》（CCW）大会。在大会上，伯克利大学教授、资深AI研究者斯图尔特·罗素（Stuart Russell）公布了一段十分恐怖的视频，一群形似“杀人蜂”的小型机器人，冲进课堂，通过人脸识别和精准定位瞬间杀死了一群正在上课的学生。视频中的这种形体类似杀人蜂的机器人，其内置了各种传感器、广角摄像头、支持面部识别，同时装载3克炸药。此外，它还具有反狙击（anti-sniper）技术，完全基于AI，可轻易躲避人的抓捕。通过面部识别技术，该机器人可快速锁定猎杀目标，对准额头一击致命，这个视频让所有参会代表心惊胆战。

从人类诞生起，一共经历了两次武器革命：第一次以火药为代表，包括枪械和炮弹；第二次以核武器为代表，包括裂变原子弹和聚变氢弹等。每次武器革命，都给人类带来了数不尽的灾难。然而，随着新一代AI的发展，“致命性自主武器”（lethal autonomous weapons，LAWS）技术越来越成熟。LAWS实际上是一种军用智能机器人，这种机器人与人脸识别、无人机、精准定位等技术的结合，可以不经过人类干预，自主选择和攻击包括人员和装备在内的军事目标。AI技术不是武器，但是，能够成为武器性能提升的助推器，AI+无人机、AI+无人地面车辆、AI+无人潜航设备已经广泛应用于军事领域，机器人作战系统也正在研究和部署。

2018年7月，在瑞典斯德哥尔摩举办的国际人工智能联合会议上，包括SpaceX及特斯拉CEO埃隆·马斯克（Elon Musk）、谷歌DeepMind的三位创始人在内的超过2000名AI学者共同签署《禁止致命性自主武器宣言》（Lethal Autonomous Weapons Pledge），宣誓不参与LAWS系统的开发、研制工作。笔者有幸参与签署了这份宣言。这也是学界针对“杀人机器人”最大规模的一次集体发声。

《禁止致命性自主武器宣言》呼吁，人的生命绝不能交给机器处置。我们的呼吁充满了道德与伦理价值取向，如果让机器人控制人的生死，那将是对社会、对人类最大的负罪，因此，人类在任何时候都不能被机器所掌控。LAWS在没有人为干预的情况下会自动以人为目标进行攻击，并致人死亡，这将给每个国家带来恐慌，给人类带来伤害。

当前，共有28个联合国成员国明确，公开支持禁止杀伤性自主武器系统的呼吁。在此，笔者呼吁：应当在联合国层面，由各主权国家讨论“致命性自主武器”给全球性带来的风险与安全问题，并签署《联合国禁止致命性自主武器公约》。

二、数据与算法安全是AI安全的核心

新一代AI的三大基石，即算法、数据和计算能力，其中，数据是新一代AI发展的基础，计算能力将数据进行计算，算法则是针对不同行业建立的对应的模型，满足这三者，才能实现从数据到价值的输出。当前，加速积累的技术能力与海量的数据资源，巨大的应用需求，以及开放的市场环境有机结合，形成了我国人工智能发展的独特优势。

事实上，我国人工智能的发展，不缺少数据，而缺少智能数据的支撑，因此，应当强化对数据驱动与知识引导相结合的AI新方法的研究，特别是加强以自然语言理解和图像图形为核心的认知计算理论和方法、综合深度推理与创意AI理论与方法、非完全信息下智能决策基础理论与框架，以及数据驱动的通用AI数学模型与理论等基础领域的研究，在此基础上应当统筹利用大数据基础设施，强化AI领域的智能数据安全与个人隐私保护。

新一代AI的本质是建立在大数据基础上的自我学习、判断和决策的算法，AI系统需要大量的数据训练学习算法，因此，数据被称为AI时代的“新石油”。算法的核心是基于网络的编程技术，但是，这种编程技术绝非中立。目前，AI的算法决策具有典型的“黑箱”特点，大量的违背科研道德和伦理算法给新一代AI的发展蒙上了一层阴影。国务院总理、国家科技领导小组组长李克强在主持国家科技领导小组第一次全体会议时强调，要加强科研诚信建设，避免浮躁，严肃查处违背科研道德和伦理的不端行为。

在“技术中性”的背后，一些推送者利用智能推介算法为用户推介信息，这种行为不但违反了自愿和知情原则，而且，也加速不良信息的传播，特别是一些不法分子利用人工智能技术制作和传播虚假信息，实施诈骗等违法犯罪活动。

笔者认为，网络运营商基于一定算法，向用户定向推送有关信息、商品或服务的，应当取得用户的同意，并就其算法进行公开说明，不得以所谓的商业秘密为由拒绝对其算法的公开说明。同时，国家应该在相关立法中明确规定，网络运营者向用户定向推送有关信息、商品或服务的，应当取得用户的同意，并就其算法进行公开说明，对其算法给公民和社会造成危害的，应当承担相应的法律责任。

2019年5月28日，国家网信办发布的《数据安全管理办法（征求意见稿）》明确规定，网络运营者利用用户数据和算法推送新闻信息、商业广告等，应当以明显方式标明“定推”字样，为用户提供停止接收定向推送信息的功能；用户选择停止接收定向推送信息时，应当停止推送，并删除已经收集的设备识别码等用户数据和个人信息。

三、高度重视AI伦理风险带来的安全隐患

人工智能的伦理问题往往会直接转化为具体的法律挑战，或是引发复杂的连带法律问题，而且，每个伦理问题一般都涉及相关法律问题。对此，笔者呼吁，国家应当高度重视人工智能和自主系统（AI/AS）带来的许多复杂的伦理和法律问题。2016年，标准制定组织国际电气与电子工程师学会（IEEE）发布了一份题为《利用人工智能和自主系统最大化人类福祉的愿景》（The Vision of Maximizing Human Well-being by Using Artificial Intelligence and Autonomous Systems）的报告。该报告提出发展人工智能的一般性原则，主要涉及AI可靠性以及高层次的伦理问题。报告认为，人工智能发展的一般性原则将适用于所有类型的人工智能和自主系统。在确定一般原则时，主要考虑三大因素：一是体现人权；二是优先考虑最大化对人类和自然环境的好处；三是削弱人工智能的风险和负面影响。

原则之一：人类利益原则。人类利益原则要求，考虑如何确保人工智能和自主系统不侵犯人权。为了实现人工智能和自主系统尊重人权、自由、人类尊严及文化多样性，在使用年限内是安全、可靠的，一旦造成损害必须能够找出根本原因(可追溯性)等目的，应当构建治理框架，包括标准化机构和监管机构，增进公众对人工智能和自主系统的信任。

原则之二：责任原则。责任原则涉及如何确保人工智能和自主系统是可以被问责的。为了解决过错问题，避免公众困惑，人工智能系统必须在程序层面具有可责性，证明其为什么以特定方式运作。首先，立法机构/法院应当阐明人工智能系统开发和部署过程中的职责、过错、责任、可追责性等问题，以便于制造商和使用者可以知晓其权利和义务分别是什么；其次，人工智能设计者和开发者在必要时考虑使用群体的文化规范的多样性；再次，当人工智能及其影响游离于既有规范之外时，利益相关方应当一起制定新的规范；第四，自主系统的生产商/使用者应当创建记录系统，记录核心参数。

原则之三：透明性原则。透明性原则意味着，自主系统的运作必须是透明的，人们能够发现其如何以及为何作出特定决定。人工智能的不透明性，加上人工智能开发的去中心化模式，加重了责任确定和责任分配的难度。透明性对每个利益相关方都意义重大：首先，对于使用者，透明性可以增进信任，让其知道人工智能系统可以做什么及其这样做的原因；其次，对人工智能和自主系统批准和认证机构，透明性能确保人工智能系统可以接受审查；再次，如果发生事故，透明性有助于事故调查人员查明事故原因；第四，事故发生之后，参与审判的法官、陪审团、律师、专家证人需要借助透明性提交证据作出决定；第五，对于自动驾驶汽车等颠覆性技术，一定程度的透明性有助于增强公众对技术的信心。

原则之四：教育和意识原则。教育和意识原则涉及如何扩大人工智能和自主系统技术的好处，最小化其被滥用的风险。在人工智能和自主系统越来越普及的时代，需要推进伦理教育和安全意识教育，让人们警惕人工智能和自主系统被滥用的潜在风险。2017年，国务院印发的《新一代人工智能发展规划的通知》对人工智能伦理和法律框架的建立和时间表提出了具体的要求。《通知》提出，要加强人工智能相关法律、伦理和社会问题研究，建立保障人工智能健康发展的法律法规和伦理道德框架；开展与人工智能应用相关的民事与刑事责任确认、隐私和产权保护、信息安全利用等法律问题研究，建立追溯和问责制度，明确人工智能法律主体以及相关权利、义务和责任等。《通知》要求，到2030年，建成更加完善的人工智能法律法规、伦理规范和政策体系。

四、构建全过程的AI监管体系

我国应当建立健全公开透明的AI监管体系，重点在AI的设计问责和应用监督并重的双层监管结构上做充分的准备，实现对AI算法设计、产品开发和成果应用等的全过程监管。促进AI行业和企业自律，切实加强AI协同一体化的管理体系，加大对AI领域数据滥用、算法陷阱、侵犯个人隐私、违背道德伦理等行为的惩戒力度。

在AI技术研发的同时，要加强人工智能相关法律、伦理和社会问题的同步研究，尤其要关注AI模仿人类传播错误信息或将商业无人机转化为目标武器攻击人类，建立和优化保障AI健康发展的法律法规和伦理道德框架。法律研究领域要开展与AI应用相关的民事与刑事责任确认、隐私和产权保护、机器伦理与破坏力评价等伦理与法律问题的交叉研究，建立AI的可追溯和问责制度，明确人工智能的设计者、控制者、使用者等相关法律主体的权利、义务和责任。

关于AI监管的原则，科幻作家艾萨夫·阿西莫夫（Isaac Asimov）于1942年提出的“机器人学三律”仍具有参照价值，值得借鉴。第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管；第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外；第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。

笔者始终认为，AI的本质是服务人类社会（AI as a service，AIaas），而人类社会的核心价值就是“以人为本”。由此，AI健康发展的方向必须以造福于人类为宗旨。笔者建议，国家有关部门或行业组织应当制定AI产品研发设计人员的道德规范和行为守则，加强对AI潜在危害与收益的评估，构建AI复杂场景下突发事件的解决方案。同时，我国应当积极参与AI的全球治理，加强机器人异化和安全监管等AI重大国际共性问题的研究，深化在AI国际标准、国际规则等方面的合作，构建我国AI领域的国际制度性话语权。

（本文刊登于《中国信息安全》杂志2019年第7期）

声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。