编者按

美国乔治城大学安全与新兴技术中心负责CyberAI项目的研究员、大西洋理事会网络治国计划的非常驻研究员珍妮·君近日撰文分析人工智能对网络攻防的影响并提出政策建议。

文章称，人工智能近期的快速发展可能会显著改变网络操作的格局，为网络安全创造机遇和风险；网络攻防双方均已寻找新的人工智能工具、技术和程序来增强其活动，预计攻击面本身会发生变化，而人工智能系统和在上述系统上开发的应用程序也将受到网络攻击；人工智能很可能会改变网络空间中可利用目标的分布，与其分析人工智能可能对网络攻防的增强，不如将重点放在行为者可能应用人工智能的任务上；此项工作既是技术问题也是政策问题，人工智能增强技术是一把“双刃剑”，具体取决于影响个人、公司和政府如何整合人工智能的各种地缘政治和经济激励措施以及其所面临的预先存在的限制；政策制定者和从业者应该将重点放在识别特定情况下特别脆弱的目标，而不是试图对人工智能是否有利于网络攻击或防御进行净评估。

文章认为，大语言模型有可能扩大模糊测试技术的规模，并使某些类型的漏洞的发现更加全面；人工智能突破是否有益于网络攻击或防御取决于具体情境，漏洞发现的潜在飞跃最终是否有利于网络攻击或防御取决于所发现的漏洞被利用与修补的速度；防御者能够在多大程度上利用人工智能支持的漏洞发现和修补的好处，还取决于政策制定者如何影响私营企业在设计和部署软件时考虑到安全性的经济激励；由于技术突破与经济和政治激励和约束相互作用，通过人工智能扩大漏洞发现等场景是否有助于网络攻击或防御尚不清楚，最有可能的是将改变现在或多或少可利用的目标类型的分布。

文章提出，从可能的边际效应角度思考人工智能对网络的影响，有助于优先考虑对特定威胁的政策关注，并避免世界末日场景和过度推测；利用生成式人工智能的近期威胁之一是在网络操作的初始访问阶段将此类内容用于社会工程和鱼叉式网络钓鱼，但使用此类生成式人工智能工具所带来的边际收益增长在不同威胁行为者和情况下并不一致，如机会主义的网络犯罪分子和国家支持的威胁组织；特定的威胁行为者可能能够通过扩大网络钓鱼活动来危害比以前更多的受害者，区分网络钓鱼电子邮件和普通电子邮件的负担不应再由个人承担；在某些情况下，在进攻行动的某些阶段依赖人工智能的边际效益可能很小，更多人使用大语言模型在常规软件开发环境中编写良性代码的边际负面影响可能会更大并给软件供应链带来网络安全风险。

文章称，美国政府正在探索如何使用人工智能来增强其网络能力、使用人工智能来加强网络防御以及最好地保护能力日益增强的人工智能系统；生成式人工智能的最新发展引起了高层政策对网络与人工智能间联系的新关注，未来几年将是美国政府如何界定人工智能在网络操作中的作用的重要时期；随着网络安全和人工智能变得更加相互交织，美国国家网络战略需要研究政府可以采取哪些措施来利用人工智能获得网络空间的竞争优势，同时解决人工智能系统面临的新网络风险；美国政府首先需要摆脱“人工智能会支持网络攻击还是网络防御”的二分法，更加关注驱动行为者以有利于美国战略利益的方式开发、使用和应用人工智能的中介因素和激励因素，而不是对该技术对网络操作或网络领域的影响进行全面的净评估。

奇安网情局编译有关情况，供读者参考。

人工智能将如何改变网络操作？

美国政府对人工智能对网络操作的影响似乎既乐观又悲观。一方面，官员们表示人工智能将为网络防御带来优势。例如，去年美国陆军网络司令部首席技术官史蒂文·雷恩表示，“现在，古老的格言是攻击者占据优势。今天，我认为通过人工智能和机器学习，它开始改变这种范式，将优势重新交给防守者。这会让进攻方变得更加困难。”另一方面，美国白宫的人工智能行政命令充满了对人工智能实现强大攻击性网络行动潜力的警告性语言。怎么会这样？

人工智能近期的快速发展可能会显著改变网络操作的格局，为网络安全创造机遇和风险。至少，攻击者和防御者都已经在发现新的人工智能工具、技术和程序来增强其每项活动。我们还可以预期攻击面本身会发生变化，因为人工智能辅助编码有时会产生不安全的代码。人工智能系统和在其之上开发的应用程序也将受到网络攻击。所有这些变化都使权衡变得复杂。

在探讨人工智能对网络安全的影响时，这个问题经常被描述为通过国际政治的视角来确定“攻防平衡”，但实际上答案要复杂得多。事实上，一些人认为，尝试将攻防平衡理论应用于网络领域的前提首先是一项充满挑战的工作。相反，人工智能很可能会改变网络空间中可利用目标的分布。与其列出一份人工智能可以增强任务的清单，不如将重点放在行为者可能应用人工智能的任务上。

这项工作既是一个技术问题，也是一个政策问题。许多人工智能增强技术是一把“双刃剑”，既可以帮助进攻，也可以帮助防御，具体取决于影响个人、公司和政府如何整合人工智能的各种地缘政治和经济激励措施以及他们面临的预先存在的限制。人工智能对网络的影响是通过这些变量来调节的，改变网络威胁的分布并为某些行为者提供更大的边际收益。对于政策制定者和从业者来说，重点应该是识别特定情况下特别脆弱的目标，而不是试图对人工智能是否有利于网络攻击或防御进行净评估。这将有助于政策制定者更好地将人工智能的影响纳入下一个美国国家网络战略中。

剑更锋利，盾更坚固

美国政府正在探索如何使用人工智能来增强其网络能力，如何使用人工智能来加强网络防御，以及如何最好地保护能力日益增强的人工智能系统。公平地说，人工智能在异常检测等网络防御领域的应用已有多年。但生成式人工智能（尤其是大语言模型）的最新发展引起了高层政策对网络与人工智能间联系的新关注。未来几年将是美国政府如何界定人工智能在网络操作中的作用的重要时期。

作为说明性示例，请考虑人工智能在漏洞发现中的作用。这在美国白宫人工智能行政命令中被列为国防部和国土安全部试点的一项任务，也很可能成为当前美国防高级研究计划局（DARPA）“人工智能网络挑战赛”的重要组成部分。发现代码中漏洞的方法之一是通过模糊测试，这是一种将随机或变异输入传递给程序以发现任何意外行为（例如缓冲区溢出）的技术。安全研究人员和威胁行为者多年来一直使用模糊测试来发现漏洞。然而，挑战之一是模糊测试的可扩展性不太好。模糊测试过程的关键方面通常是手动的，并且不会探索整个代码库。

然而，最近大语言模型性能的提高有可能部分缓解这个问题。通过使用大语言模型大规模生成有效输入，模糊测试项目所需的时间和资源可以大大减少，甚至可能实现自动化。整个代码存储库（而不是选定的部分）可以轻松进行模糊测试。其他正在进行的研究使用大语言模型来创建同时支持多种编程语言的模糊测试器，进一步增加代码覆盖率。随着更多的研究，大语言模型有可能扩大模糊测试技术的规模，并使某些类型的漏洞的发现更加全面。

漏洞发现的这种潜在飞跃最终是否有利于网络攻击或防御，取决于所发现的漏洞被利用与修补的速度。这在很大程度上取决于人工智能改进外的现有因素。从这个意义上说，尝试回答某些人工智能突破是否有益于网络攻击或防御的问题是简化的，因为答案更具情境性。

例如，各国对于储存与披露已发现的漏洞有不同的国家级法规。所发现的漏洞将在多大程度上被秘密地供政府利用，而不是向公众披露以进行修补，这将根据国家对国家安全的担忧、国际规范以及与私营部门的关系等因素而有所不同，导致国内法律法规的差异。这意味着漏洞发现率的总体提高可能会对某些国家支持的威胁行为者比其他行为者带来更大的好处。

软件开发人员和安全工程师还可以大规模使用模糊测试来发现更多可以修复的漏洞。但对此类发现的漏洞进行有效和大规模修复的程度也会有所不同。例如，将模糊测试等漏洞测试手段作为产品部署前的标准实践，可能会增加开发人员及早发现和修补漏洞的机会。然而，对于某些企业来说，对于在已部署的具有复杂依赖项的产品中后期发现的漏洞，修补可能需要数月甚至数年的时间。因此，虽然从长远来看，随着新产品的部署，人工智能辅助模糊测试可能有助于设计安全原则，但从短期来看，攻击者可能能够利用这样一个事实：一些漏洞现在更容易被发现但无法被轻易修复——主要是因为组织的限制和惰性。因此，防御者能够在多大程度上利用人工智能支持的漏洞发现和修补的好处，还取决于政策制定者如何影响私营企业在设计和部署软件时考虑到安全性的经济激励，而不是首先进入市场的激励。

因此，人工智能将如何改变网络安全的问题既是一个技术问题，也是一个政策问题。如果美国政府评估认为，由于新的人工智能技术，其他威胁行为者储存漏洞的速度将会增加，那么它是否应该通过增加漏洞库存来做出回应，或者是否应该尝试向公众揭露更多这些漏洞并进行修复？美国政府应如何在私下或公开场合向此类威胁行为者、第三方国家和私营部门利益相关者表明其意图？私营部门的激励措施（例如以牺牲安全为代价率先进入市场的愿望）如何影响我们是否会进入一个漏洞发现速度超过修复速度的世界，反之亦然，以及政策可以采取哪些措施来塑造那些激励措施？这些政策问题的答案需要最高层决策和机构间协调的审议。

由于技术突破与经济和政治激励和约束相互作用，因此通过人工智能扩大漏洞发现等场景是否有助于网络攻击或防御尚不清楚。最有可能的是，它将改变现在或多或少可利用的目标类型的分布。这是因为人工智能增强有利于某些技术，例如模糊测试，或者发现某些类型的漏洞，但不能发现其他类型的漏洞。此外，一些组织更有能力尽早快速修复发现的漏洞，而某些类型的威胁团体（专注于特定任务并因此针对某些部门）比其他组织更具机会主义。所有这些是否会为网络进攻或防御带来整体的净胜利，也许并不重要，重要的是了解可以塑造这种不断变化的分布的根本条件。

边际效应和威胁

另一个需要关注的重要问题是考虑人工智能在增强网操作各个阶段的边际效应最大的地方。例如，英国国家网络安全中心对人工智能对网络威胁的近期影响的评估强调了人工智能对初始访问、横向移动和渗透等攻击过程的影响，影响范围从无提升到显著提升。从可能的边际效应角度思考人工智能对网络的影响，有助于优先考虑对特定威胁的政策关注，并避免世界末日场景和过度推测。

以生成式人工智能在网络犯罪市场中的作用为例。利用生成式人工智能（无论是通过生成文本、语音还是图像）的近期威胁之一是在网络操作的初始访问阶段将此类内容用于社会工程和鱼叉式网络钓鱼。例如，一份行业报告显示，自ChatGPT发布以来，网络钓鱼电子邮件增加了1265%。然而，与以前相比，使用此类生成式人工智能工具所带来的边际收益增长在不同威胁行为者和情况下并不一致。

衡量网络钓鱼电子邮件是否成功的一种方法是衡量其“点击率”，即受害者是否成功点击了恶意链接。新兴研究表明，虽然人工智能生成的网络钓鱼电子邮件的点击率仍略低于受过训练的社会工程师手写的电子邮件，但使用大型语言模型生成网络钓鱼电子邮件所需的时间要少得多（5分钟，而不是IBM 研究中的16个小时）。这种动态显示了我所说的“质量与效率的权衡”。未来，如果人工智能生成的网络钓鱼可以根据组织的正常通信模式进行定制和/或集成到能够大规模迭代对话的类似聊天机器人的代理中，那么它们的点击率可能会更高。但即使是现在，一些威胁行为者也非常乐意使用此类工具扩大网络钓鱼活动的规模，但代价是点击率略低。

可能从这种权衡中获得不成比例的利益的威胁行为者类型是机会主义的网络犯罪分子，他们试图在“撒网然后祈祷”操作中撒下最广泛的网，以利用可能会也可能不会很快修复的特定漏洞来实现利润最大化。对于这些威胁行为者来说，扩大初始访问范围的边际效益是巨大的，而受电子邮件影响的受害者数量减少的负面影响却很小。另一方面，那些从不加区别的初始访问中获得相对较少的人（例如国家支持的威胁组织，在有限的目标集上执行特定任务，并高度重视保持隐蔽性）可能不会从利用此类工具中受益太多。他们甚至可能不依赖网络钓鱼电子邮件进行初始访问，或者已经拥有经验丰富的内部社会工程师，并且可能仅利用生成式人工智能来实现辅助功能，例如修复语法等。

这一趋势表明，特定的威胁行为者（例如勒索软件团伙）可能能够通过扩大网络钓鱼活动来危害比以前更多的受害者，这意味着防御可能需要专注于阻止攻击的后续阶段，例如权限升级和横向移动。它还表明，区分网络钓鱼电子邮件和普通电子邮件的负担不应再由个人承担，并且有必要对电子邮件身份验证协议和其他大规模提供可疑电子邮件危险信号的方法进行投资。

另一方面，在某些情况下，在进攻行动的某些阶段依赖人工智能的边际效益可能很小。的确，大语言模型可用于编写恶意代码，但黑客已经经常利用现成的工具、购买即服务订阅、在论坛上分享漏洞以及在不依赖人工智能的情况下自动执行任务。相反，更多人使用大语言模型在常规软件开发环境中编写良性代码的边际负面影响可能会更大，因为它们经常生成不安全的代码，并通过常见的可利用错误给软件供应链带来网络安全风险。在这里，人工智能生成功能代码的能力并不一定是直接增强攻击技术，而是通过改变生态系统的攻击面，为依赖现有技术的攻击者打开更多的大门。

将人工智能纳入美国网络战略

随着网络安全和人工智能变得更加相互交织，美国国家网络战略需要研究政府可以采取哪些措施来利用人工智能获得网络空间的竞争优势，同时解决人工智能系统面临的新网络风险。不幸的是，2023 年的美国国家网络安全战略没有及时编写来正确审视这些问题。虽然最近的美国白宫人工智能行政命令取得了可喜的进展，但该命令中提出的所有与网络安全相关的举措，以及“人工智能网络挑战赛”和美国网络司令部新的人工智能安全中心等现有努力，都应该成为更广泛和更新的国家级网络战略的一部分，为人工智能时代的目的、方式和手段提供了结缔组织。

这样做的第一步是摆脱“人工智能会支持网络攻击还是网络防御”的二分法。人工智能带来的许多技术突破可能有利于进攻和防守，具体取决于各种外部因素。例如，虽然人工智能可以扩大漏洞发现规模，但如果在生产过程中发现漏洞，则更有可能有利于防御，因此可以在部署前以最小的努力进行修复。如果在已部署的存在大量会减慢补丁采用速度依赖项的产品中发现漏洞，那么时间延迟就会有利于攻击。在另一个例子中，人工智能可以生成功能代码，但在某些情况下，这可以用于生成恶意代码或良性但不安全的代码，而在其他情况下，这种能力可以用于自动修复代码。后一种能力相对于前一种能力的成熟程度取决于政策制定者如何激励私营部门和研究界。

因此，更重要的是关注驱动行为者以有利于美国战略利益的方式开发、使用和应用人工智能的中介因素和激励因素，而不是对该技术对网络操作或网络领域的影响进行全面的净评估。这样做还将使美国政策制定者能够优先关注最具影响力和最有可能的人工智能网络威胁，以及如何最好地利用人工智能功能来减少攻击面并更有效地应对网络威胁。

声明：本文来自网络空间安全军民融合创新中心，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。