文│上海外国语大学 孙伟意
美国 OpenAI 公司 2022 年发布的生成式人工智能（AIGC）产品 ChatGPT，凭借拥有高质量文本内容的输出能力，能够精确、高效地完成分析、翻译、撰写代码等工作，引发了广泛关注。大国在人工智能的赛道上已经展开了激烈的角逐，以便抢占未来新兴技术的制高点和主导权。尽管此类人工智能应用能够为社会工作带来极大的帮助，但是，在这背后，人工智能技术的发展和应用所带来的安全风险同样成为国际社会关注的焦点话题。可以说，人工智能的颠覆性特征及其发展现状凸显了监管和治理的紧迫性。因此，在保障人工智能健康稳定发展的同时，更加需要认知其带来的风险，并思考人工智能治理的路径和措施。
一、认识人工智能的技术、应用和扩散风险
随着人工智能技术的突飞猛进，各界对人工智能的关注度也日益提升，尤其是人工智能的颠覆性作用以及由此而来的安全风险，引发多方探讨。当前，人工智能的安全风险可以概括为技术、应用和扩散三个方面。
（一）技术层面的数据和隐私安全风险
人工智能技术的进步很大程度上得益于数据挖掘技术的进步。人工智能算法的实现是通过对数据进行挖掘、训练和学习，使人工智能模型能够做出更加精准的分析和决策。然而，在数据隐私安全方面，人工智能既存在算法“黑箱”的缺陷，也存在虚假数据和数据泄露的问题。首先，算法“黑箱”是指用户可以获得人工智能提供的相应信息，而无法知晓算法内部的运转机制。因此，算法往往在用户面前是不透明的，用户也就无法确认算法机制是否存在偏见、错误及其他安全问题。其次，虚假数据容易引发人们对人工智能的担忧。训练人工智能模型的数据集来源存在虚假的可能，而这类数据会对算法造成影响，从而导致人工智能模型在开展分析和决策时得出错误的结果。再次，由于人工智能需要不断地对数据进行学习，客观上意味着对数据安全提出了更高的要求。数据在政府部门、企业及第三方机构之间的存储和流动是数据安全的关键。在此过程中，网络攻击、设备毁坏、人员操作不当等都容易造成数据泄露，因此会给国家和企业带来严重的安全风险。
（二）应用层面的人工智能军事化风险
任何技术创新往往都具有“双刃剑”的特性，新技术的突破更是离不开其在军事领域的首先应用。互联网最早起源于美国的阿帕网，被率先运用于军事部门，目的是加强部门间军事信息的交流与共享。人工智能作为新的两用技术，具有显著的颠覆性特征，通过智能化的态势感知、战场情报分析、辅助决策和自主武器系统的使用，能够对战争造成非对称的影响。这种鲜明的特性能够以较低的代价获得更高的收益，从而使武装力量更加推崇和依赖人工智能技术。尽管人工智能的军事化应用存在颠覆性的特征，但是它还可能引发误伤平民和非军事目标的人道主义风险、人工智能系统稳定性风险以及加剧持续冲突的战略风险。值得注意的是，即便如此，在人工智能发展的关键技术上，任何一方都不想处于受制于人的局面，故而，各方都不断加大人工智能研发投入。因此，人工智能的军事化应用或许会引发该领域的军备竞赛，具有陷入“安全困境”的风险。
（三）扩散层面的人工智能滥用风险
从目前情况看，生成式人工智能取得了较大的发展，尤其是类似 ChatGPT 这样的人工智能应用具有很强的便利性，可以使个人用户通过网络连接接入，从而增加了不同地区用户使用该程序的数量。尽管人工智能技术的扩散会提高生产生活效率，但是，更需要注意的是这类技术被非国家行为体滥用和非法使用问题。美国智库中东媒体研究所（MEMRI）针对其国内恐怖主义威胁监测（DTTM）项目发表了报告《全球新纳粹和白人至上主义者都关注人工智能——政府予以关注的新的国家安全威胁——其目的包括招募人员、骚扰少数群体和犯罪活动，包括黑客攻击银行、推翻政府、攻击基础设施、促进游击战和使用大规模杀伤性武器》（Neo-Nazis AndWhite Supremacists Worldwide Look To Artificial Intelligence(AI) – A National Security Threat In The Making To WhichNo Government Is Paying Attention – For Purposes SuchAs Recruitment, Harassing Minorities, And Criminal ActivityIncluding Hacking Banks, Overthrowing Government,Attacking Infrastructure, Promoting Guerilla Warfare, AndUsing WMDs）。报告显示，世界各地的新纳粹分子、白人至上主义者和其他极端分子正在使用人工智能工具，达到实施犯罪活动目的。其中，报告提到，极端分子会使用 ChatGPT 找出美国关键基础设施最容易受到攻击的位置。报告还指出，极端主义分子使用人工智能用于策划恐怖袭击，包括制造大规模杀伤性武器。就人工智能可能引发恐怖威胁方面，北约于 2021 年 10 月发布的《北约人工智能战略》（Artificial Intelligence Strategy for NATO）警告，人工智能是“新兴的颠覆性技术”之一，无论是在军事上还是对民间社会，它代表来自国家和非国家行为者的新威胁。由此可见，凭借其易操作性和智能性，人工智能在不断扩散中增大了极端主义、恐怖主义的风险。
二、人工智能发展带来竞争和监管挑战
当前，作为未来技术的关键节点，人工智能正引发新一轮的国际竞争。中美在人工智能领域开展全面竞争；人工智能的颠覆性特征和俄乌冲突正在加速人工智能军备竞赛；人工智能的扩散加剧，黑客群体和恐怖主义分子都积极学习和使用这项新技术，使人工智能监管面临挑战。
（一）人工智能领域的技术竞争
算法、算力和数据构成了人工智能发展的三个核心要素。当前，国家间围绕人工智能技术的竞争主要围绕这三个方面。其中，中美在人工智能领域的全面竞争较为激烈。尤其是美国从算法、算力和数据方面均向中国施加压力。通过渲染人工智能的“泛安全化”概念，美国动用制裁工具打压中国的人工智能企业。美欧则在跨境数据流动方面展开持续博弈。
在算法问题上，中美展开了激烈的角逐。中美两国各自均拥有众多专注于人工智能研究的大型科技公司。然而，美国动用单边手段打击在此领域的中国企业。一方面，美国指控在美国国内广泛流行的中国应用程序存在算法的不透明性，要求其实现算法安全与公开透明。例如，短视频应用 TikTok因算法问题被美国多个州和社区起诉，被指控TikTok 的算法严重影响未成年人安全和公共安全。另一方面，美国以所谓的算法技术侵犯人权为由，打压中国的人工智能公司。自 2019 年以来，美国已多次以侵犯人权为借口对中国人工智能公司实施制裁，限制美国企业同其进行贸易和投融资活动。
数据安全成为人工智能领域竞争的焦点。人工智能技术的背后是数据问题。数据的安全和流动引发了国家间博弈。在中美之间，美国认为 TikTok的数据隐私保护极不安全，担心其会搜集用户的个人信息和敏感数据进并被中国方面访问。同时，美国无视其母公司字节跳动对数据本地化所做出的努力，坚持认定该应用带来的数据安全威胁。这种所谓的“担忧”使美国在 TikTok 问题上态度严苛，关于剥离、出售甚至是全面禁用 TikTok 的舆论不断。
美欧也就数据跨境流动展开了博弈。欧盟向来重视立法层面的建章立制。以《通用数据保护条例》（GDPR）为首的数据立法体现了欧盟在数据领域的严格立场，对数据流动施加限制。美国则依据大型科技公司的市场力量，推动数据的自由流动。此外，欧盟以违反数据流动规则为由在 2023 年 5 月对美国科技巨头 Meta 开出了 12 亿欧元的天价罚单。可见，在这一问题上，双方均想掌握数据流动的主导权，这也预示着美欧博弈仍将持续。
芯片出口管制成为算力竞争的主要表现。高制程芯片具有更强的算力，构建了人工智能重要的物理层基础。美国围绕芯片出口管制，妄图拉开中美在人工智能领域的差距。美国在 2022 年 10 月发布出口管制新规，专门将人工智能芯片作为对华出口管制的新方向。新规则对用于人工智能领域的先进芯片、软件以及用于生产先进芯片的各种半导体制造设备的对华出口提出了前所未有的许可限制。受新规则的影响，英伟达（Nvidia）等美国芯片公司无法继续向中国出口其半导体产品。由此可见，在人工智能发展的方向上，美国妄图通过单边制裁的方式，遏制中国在该领域的发展，维护其自身的全球主导地位。
（二）人工智能领域的军备竞赛
人工智能以其智能化的特性和改变战争规则的潜力已经吸引了一些国家或地区加大投入，以期实现该技术的军事化应用。一方面，美国等西方国家凭借技术优势积极研发人工智能的军事用途，抢占军事技术的制高点以期在未来的战争中取胜。另一方面，俄乌冲突加速了各方对人工智能武器的使用，进一步推动了人工智能领域的军备竞赛。
自 ChatGPT 发布以来，美国已经对人工智能的军事用途给予高度关注。2023 年 1 月，美国国防部（DoD）更新了关于开发和部署自主与半自主武器系统的指令，包括那些使用人工智能技术的武器系统。随后，美国军方在演习时开始使用生成式人工智能，帮助美军模拟应对未来可能的冲突威胁。同时，美国还在呼吁公共和私营部门在维持美国人工智能领导地位方面积极发挥作用。
以色列在人工智能技术军事化方面已经做好同其他全球大国角逐的准备。2023 年 2 月，以色列国防军宣布，该部队已开始在行动中使用人工智能。此类新技术在 2021 年为期 10 天的行动中成功锁定了至少两名哈马斯指挥官。以色列国防部总干事埃亚勒·扎米尔（Eyal Zamir）在 2023 年 5 月表示，以色列的目标是成为“人工智能超级大国”，推进研究自主战争和简化作战决策。以色列还将在国防部内组建专门的军事机器人组织，为相关研究和开发提供更高的预算。
俄乌双方在冲突中使用了具有人工智能技术的自主武器系统，加剧了冲突的烈度，也引发其他国家对人工智能武器的兴趣。在冲突中，俄乌双方均投入了大量的无人机系统，在飞行、瞄准和打击方面提供了人工智能增强的自主能力。同时，俄乌冲突也成为西方国家自主武器的试验场。他们通过向俄乌冲突前线投入新研发的武器系统，得到战场使用反馈。这也表明，西方军火提供商对人工智能军事化投入将有增无减。
（三）人工智能领域的监管问题
当前，国际社会对人工智能技术的扩散缺乏有效的管控，使人工智能的扩散和滥用趋势加速。由于人工智能产品的易操作性，导致大多数人都能够较为便捷地使用这类产品，这也让犯罪分子有了可乘之机。例如，黑客和恐怖组织都可利用生成式人工智能为其开展威胁活动提供帮助。这种情况凸显对人工智能监管的缺失，尤其需要从技术层面加强对人工智能特定算法和高质量数据的训练，防止此类技术被犯罪分子用于危害公共安全的活动。
一方面，像黑客这样的技术群体在人工智能使用方面具有更多的优势，能够利用新技术的特性从事更多的恶意网络活动。通过利用人工智能，网络犯罪分子可以创建深度伪造数据、恶意软件以及隐秘攻击等武器。网络安全供应商超越身份（BeyondIdentity）在 2023 年 7 月发布了《ChatGPT 的黑暗面：网络专家警告人工智能将在2023年辅助网络攻击》（ChatGPT"s Dark Side：Cyber Experts Warn AI WillAid Cyberattacks In 2023）。这份报告对 1010 名网络安全专家进行了关于人工智能辅助网络攻击的调查。调查发现，75% 的专家表示，人工智能在网络攻击中的使用数量正在增加，其中，有六分之一的受访者经历过人工智能推动的网络攻击。
另一方面，恐怖主义分子也积极获取并学习人工智能技术发动极端主义行动。在互联网发展普及后，恐怖主义分子一直利用网络宣传恐怖主义思想、策划恐怖袭击。人工智能逐渐成为恐怖分子进行技术学习的新方向。2022 年 12 月，在“伊斯兰国”（ISIS）恐怖组织运营的 Rocket.Chat 平台，一名用户发帖称，他使用 ChatGPT 询问“如何最好地建立哈里发国”。在得到 ChatGPT 一系列回答后，该用户声称，这表明它“比大多数活动人士更聪明”。
三、对人工智能治理的思考
人工智能带来的风险是全世界普遍面临的问题，各国应该围绕人工智能安全风险，共同应对挑战，从而引导人工智能技术发展真正造福于人类社会。
（一）加强人工智能的敏捷治理
过去的治理模式更多的是回应式治理，是在新的事物发展一段时间后，对其产生的一系列问题和影响做出事后反应。人工智能作为一项变革性技术，其创新更为迅速、影响更为深刻，这使回应式治理模式已经不能满足这项新技术的发展要求。
敏捷治理（Agile Governance）这一概念最早来源于《敏捷软件开发宣言》（Manifesto for AgileSoftware Development），是由包括肯特·贝克（KentBeck）、迈克·比德尔（Mike Beedle）、阿里·范·本尼库姆（Arie van Bennekum）等在内的十七位软件从业者共同提出的。提出这一概念的最初目的是发现更好的软件开发方法。2018 年，世界经济论坛正式提出了敏捷治理的方法。根据世界经济论坛的定义，敏捷治理的概念旨在改变第四次工业革命中政策的产生、审议、实施和执行的方式。在敏捷治理的模式下，政府应与私营部门开展紧密的合作，实现敏捷治理的要求。敏捷治理的优势主要体现在其应对人工智能技术变化的反应更为快捷和灵活，能够及时地适应技术需求并制定合理的治理设计。敏捷治理模式将会推动技术研究和创新、行业标准和监督、问题的解决方案、长远规划。因此，在人工智能技术的发展中，敏捷治理可以更好地适应这一技术需求。
当前，已有一些国家积极推行人工智能的敏捷治理。加拿大、丹麦、意大利、日本、新加坡、阿联酋和英国在经合组织（OECD）和世界经济论坛（WEF）联合组织的小组会议上签署了《敏捷国家宪章》（Agile Nations Charter）。该文件被认为世界上第一个“敏捷国家”协议。该协议强调签署国将以敏捷治理为原则，促进各国间新兴技术合作与发展的潜力。在 2023 年 5 月召开的 G7 峰会上，“七国”就人工智能和新兴技术治理的五项原则达成一致，其中包括敏捷治理原则。
（二）强化多利益攸关方的治理参与
当前，以大型科技公司为主的非政府实体掌握了更多的技术主导权，能够在技术研发和投融资方面发挥重要影响。人工智能的治理过程更是需要技术社群、私营部门、科研机构等多利益攸关方的参与。
一方面，多利益攸关方代表了不同群体对技术治理的需求和看法。人工智能治理是多利益攸关方共治的开放体系。不同群体能够分别从技术、安全、法律、规范、标准、道德等多个维度共同讨论具体的治理议题。例如，在人工智能安全风险问题上，自 ChatGPT 升级到第四代之后，包括特斯拉总裁马斯克、苹果联合创始人史蒂夫·沃兹尼亚克在内的 1000 多位高科技人士呼吁所有人工智能实验室立即暂停比 GPT4 更强大的人工智能系统训练至少6 个月，直到为此类系统制定出共享安全协议。多利益攸关方的治理参与模式，能够提高人工智能发展过程中的安全性和包容性。
另一方面，多利益攸关方原则能够加强政府与非政府之间的治理合作。在多利益攸关方的治理进程中，政府方面能够听取社会各界关于人工智能安全与发展的意见。这将有利于制定相关政策和立法。尤其是在处理数据和算法问题上，双方的合作能够有助于确保数据的质量、安全性，消除算法偏见并保证公平性。
（三）建立行之有效的国际治理机制
人工智能所带来的风险挑战是值得各国共同应对的。2023 年 7 月 18 日，联合国安理会在联合国总部举行了人工智能会议。安理会秘书长安东尼奥·古特雷斯（António Guterres）呼吁设立一个全球监管机构监督这项新技术。可见，对构建人工智能治理机制的讨论正在引起国际社会的高度关注。该机制的治理对象应涵盖以下几个方面。
一是在技术研发角度注重保护整体的系统性安全。确保人工智能的数据、算法等方面的安全，需要从整体入手。无论是软件还是硬件或两者，都应确保人工智能系统的透明度、问责制、验证和审计安全协议。系统性安全还将有助于保护数据要素。同时，在技术研发的过程中，需要着重加强监管算法“黑箱”，明确算法开发者的责任，确保算法的公平性与合法性。
二是在应用角度讨论人工智能的军事化用途。为防止人工智能的军事应用进一步加剧，国际社会应该加强人工智能军备控制的磋商，遏止人工智能的战争用途。其中，需要注意的是，军事化问题涉及国家间信任，对该问题的探讨将是艰难持久的过程。各国在此问题上可以吸取过去成功军控的案例经验，加强彼此对该问题的共识和信任。中国常驻联合国代表张军在安理会上提出的关于人工智能治理的五条原则中，强调了坚持和平利用的重要性。这对于防范人工智能的军事化加剧，具有很强的现实意义。毕竟，人工智能的军事化应用是否会像核武器一样对人类能够产生毁灭性的影响的问题需要国际社会认真对待。
三是应加强关注人工智能的极端主义、恐怖主义扩散。新兴技术向极端主义蔓延将会给各国带来安全威胁。在此方面，各国应提升在打击极端主义获取人工智能技术方面的合作力度。这就要求政府间应加强信息共享、联合执法、平台监管等方面的合作，以及私营部门、技术社群等多利益攸关方群体对技术特性问题的共同关注。
（本文刊登于《中国信息安全》杂志2023年第8期）
声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
