吴世忠：对新一代人工智能发展与安全问题的思考

历史上每一次工业革命都会助推强国崛起，引发国力转变，重塑世界格局。人工智能（AI）技术的发展应用同样正在孕育着一场革命，为我国提供了重大历史机遇。“抢抓机遇，乘势而上”已成官商学界的高度共识。而世界大国对人工智能安全问题的担忧则要比过去历次科技革命的利害权衡都更为深入、广泛和尖锐。在发展人工智能的全球竞争中能否成为这一新兴技术的引领者，很大程度上取决于对“发展与安全”问题的了解、认识和应对。

一、充分了解人工智能技术隐含的安全风险

人工智能是典型的军民两用技术，利弊并存，其智能化程度越高，双刃剑特征就越突出。已故的英国科学家斯蒂芬·霍金教授认为人工智能可能会毁灭人类，直接将“能否掌握对人工智能的控制权”这一拷问，提到人类战略的高度。目前，世界各国在竞相发展人工智能的同时，都高度重视其安全风险。政界、军界、产业界和智库密集讨论其对国家安全和国际秩序的威胁与挑战。归结而言，人工智能技术应用的安全风险突出体现在三个方面：

一是国家安全风险。人工智能技术使机器拥有越来越高级的智能，力图突破人力的局限，甚至改变人类与技术的深层联系，给国家发展带来深层变革，其“威力之大，堪比核武”，被公认是“对国家安全带来深刻变化的颠覆性技术”。如果管控不当，将直接影响政治、政权、经济、金融、网络、文化等国家重要行业和核心领域的安全与稳定。各主要大国在国家安全战略和科技发展战略等重要文件中均特别强调对人工智能危及国家安全的担忧：一是担心对这一新兴战略能力的缺失。普遍认为，新一代人工智能会成为重要的战略威慑力量，类似于“拥核自重”。不在人工智能上占据制高点，就难以在未来的国际舞台上掌握主动权、拥有话语权。2018年4月，兰德公司发布报告《人工智能对核战争风险的影响》指出，到2040年人工智能有可能颠覆核威慑战略的基础。二是担心对人工智能技术滥用的失控。人工智能这种赋能极强的技术手段获得容易，管控极难，滥用门槛极低，容易落入极端个人或犯罪团伙之手，会给政权安全和社会稳定带来重大威胁。三是担心对人工智能应用中重大安全风险的失察。人工智能技术应用推广隐含着诸多不确定性，近年在西方政治中出现的利用大数据分析和社交平台部署“机器人水军”达到“网络干预选举”的口水仗和剑桥分析公司利用人工智能等技术操控选民意见和行为的曝光，彰显出新的政治安全风险。没有预测、预警和预防能力，智能化时代的系统性、灾难性风险在所难免。

二是军事安全风险。两用技术，最受军方的青睐。一方面，越来越多的国家试图研发“致命性自动武器”，而个人或非国家行为体则越来越容易获得这种“四两拨千斤”的“远程精确打击能力”“机器自动杀人”可能不再是科幻。另一方面，有的国家或非国家实体可能将商业团体开发的工业机器人转化成接近实用的“机器人战士”。更值得关注的是，西方军界对智能化武器装备、战场战法、战争理论等的研究越来越多，且日益深入，引发有识之士的普遍担忧。以至于特斯拉创始人马斯克等来自26个国家的116名专家去年联名致信联合国，强烈呼吁制止“智能武器”的军备竞争，将其纳入国际公约的管制。今年四月初，30个国家和地区的50多名专家学者联合抵制韩国科学技术院与军工企业合作的机器人武器研发项目。英国政府的一份报告明确表示：永远不能给人工智能系统伤害人的权力。

三是社会安全风险。人工智能技术的创新和推广，将不断突破现有法律法规、社会规范和道德伦理的限制，直接给社会生活带来多维度的安全挑战。一是智能社会的经济生产与生活模式高度自动化，具有智能的机器对传统人工的替代在解放人力劳动者的同时，直接带来对就业的冲击，给本来就存在就业压力的发达国家带来社会风险。尤其是人工智能越来越多地应用于大数据环境下的决策，由于机器系统无法像人那样解释或合理化其所作的决定，所谓的“算法偏见”会带来更为复杂的社会问题。二是当智能技术无处不在，万物互联成为常态，大量的个人隐私会直接暴露给智能设备，构成日益尖锐且相当普遍的网络信息安全问题。三是人工智能主要靠软件与算法驱动，而软件与算法皆是人为编写，难免出现技术漏洞和人为缺陷。人工智能与物联网的深度融合，使得智能产品成为网络攻击新的风险点和突破口。人工智能既普遍又敏感，正用反用，存乎一念，善恶之间，天壤之别。美国有研究表明，虚设假场景、伪造音视频会直接引发股市动荡、街头政治和社会危机。在近两年的世界黑客大会上，具有人工智能的“神器”“杀器”纷纷亮相。联合国曾召开“人工智能向善”大会，专门讨论技术标准、安全规范和道德伦理等问题，以防机器人作恶，表达了国际社会的集体焦虑。近期，谷歌公司3100多名员工联名抗议为五角大楼开发相关高端人工智能技术，也是这种社会忧虑的反应。

二、辩证认识人工智能应用面临的安全问题

回顾人类文明史，在利弊并存的技术革命和社会创新面前，人类总能凭借自身的智慧探索出一条趋利避害的发展道路，从而在适应发展、改造自然的进程中化险为夷，转危为安。相对前述多方面的风险隐患，新一代人工智能带给人类的发展机遇更为现实和明显。随着计算能力的提高，大规模数据的积累和学习算法的进步，人工智能正在重塑我们的世界、社会和生活。日新月异的人工智能应用不仅使我们的生活更加便捷和高效，而且能为我们应对和解决重大社会性、全球性难题提供新的方法和手段。尤其重要的是，人工智能的发展将给全球带来巨大的经济发展机会。普华永道2017年的一项研究表明：在人工智能技术的推动下，2030年全球GDP将增长14%，相当于15.7万亿美元。发展与安全的利害关系，不言而喻。回顾我国近代史，在多次重大的世界性技术变革面前，由于在风险感知、安全预判上的纠结与失据，让我们痛失多次历史发展机遇，留下苦涩的遗憾。四十年的改革开放生动地证明了“发展是硬道理”，也辩证地揭示了“不发展是最大的不安全”。因此，对人工智能发展中面临的安全问题，应当要有辩证的认识。

首先，要树立科学的安全观念。要立足发展讲安全，权衡利弊讲安全，防止安全问题绝对化的认识和安全风险扩大化的倾向。不能让安全问题成为发展路上的拦路虎和绊脚石，而是要以有效的法律法规、管理手段和技术措施主动应对，让安全保障成为确保发展的底板和垫脚石。只有对安全问题有了全面科学的认识，才会不纠结、不惧怕，才敢张开双臂拥抱人工智能技术，才能紧紧抓住这一历史机遇。

其次，要确立有效的治理策略。从蒸汽机到电力，从计算机到网络，任何一项技术创新都经历一个从不完善到完善，从不可控到可控的过程，其中的治理之道基本上应了“两利相较取其重，两害相较取其轻”的古训。因而是发展在先，治理在后，只是随着时空关系的变化，发展与治理的时间差在不断缩短，直到近十年的互联网发展，我们仍然走的是先发展后治理的路子。实践表明，由于技术发展太快，应用涉及太广，作用影响太大，对于颠覆性超强的新兴科技，治理滞后越来越显得力不从心。而对新一代人工智能的自主、智能和自适应等鲜明特征，发展与治理并举的紧迫性更加凸显。欧美各国均在人工智能发展战略中同步考虑安全管控和风险治理，加大了对安全问题的研究力度和安全措施的投入强度，为有效把控安全风险预作准备。这是处理应对颠覆性技术带来的安全风险的新动向，值得我们重视和借鉴。在新一代人工智能的发展中要做到趋利避害，就必须不回避安全挑战，以科学的态度，务实的精神，同步考虑和解决安全保障措施，为人工智能又好又快地发展提供可靠的安全保证。

再次，要建立良好的社会环境。良好的社会环境是科技创新最好的土壤，任何技术进步和科技创新都是有成本的，要享用人工智能带来的发展机遇，就要为其可能带来的社会变革付出代价。政府、企业和公众都要有为人工智能发展付出成本的心理准备。人工智能应用越广，这个问题会越突出，我们不仅要在人工智能技术的研发、试验和推广应用中包容失误，宽容出错，而且要在安全保密的文化和观念上走出 “绝对安全”的认识误区，避免条件反射式的监管冲动，靠发展化解隐患，以动态管控风险。

三、有效应对人工智能发展提出的安全挑战

我国已正式发布新一代人工智能的发展规划，凭借规模庞大的市场和技术应用优势，坚持发展这个硬道理，抓住创新这个牛鼻子，我们就能抢占先机，获得主动。在安全管控这个关键问题上，只要坚持发展与治理并举，趋利避害，就可以走出具有中国特色的一条新路。

（一）强化战略引领，发挥体制优势，争取技术领先。一是在总体国家安全观的指导下，完善人工智能发展战略，尤其要充分考虑新一代人工智能技术的新特点和应用的新领域，处理好发展与安全的辩证关系，同步布局、设计和安排与安全相关的工作内容。二是面向国防、安全等国家战略需求，统一建设人工智能国家实验室、安全风险测评基地、模拟试验场等技术基础设施。防止各行业、各部门一哄而上，重复投入，避免同质竞争造成资源浪费。三是设立重大科技专项，研发人工智能积极防御关键技术，抢占战略制高点，提高国家在该领域的核心竞争力。

（二）强化军民融合，推动商业应用，促进创新发展。一可增加人工智能安全相关的基础研究投入，针对我国在交通、医疗、金融、教育、智慧城市、工业控制等方面大规模人工智能的应用需求，研究有针对性的安全技术，促进原始创新。二可将人工智能商业应用创新作为军民融合的重要内容，激发技术创新和成果转化，鼓励科研成果的实际应用，在应用中改进，在改进中完善和提高，形成良好的产业生态。三可支持跨部门、跨界的数据共享和业务配合，推动机制创新，让我国的信息化红利、网络化红利和大数据红利有效转化成人工智能发展与应用的直接动力。

（三）强化安全治理，提高防范能力，管控重大风险。一宜结合深化改革，明确人工智能安全治理的责任部门，防止“九龙治水”，政出多门，减少企业经营负担和公众政策困扰。二宜与国家人工智能发展战略相适应，持续加大投入力度，着力建设防故障、防干扰、防破坏、防控制等技术标准、治理体系和治理能力，努力跻身人工智能强国之列。三宜贯彻人类命运共同体理念，支持科研团体、专家学者、企业广泛开展国际合作，主动搭建人工智能国际合作平台，积极参与国际标准和规则制定。针对机器人异化和安全风险管控、治理等重大国际共性问题，加强研究，提出中国方案，贡献中国智慧，发挥中国作用。