前情回顾·大模型滥用威胁态势

安全内参3月22日消息，过去几年来，网络威胁生态系统的发展揭示了一个共同主题，即威胁行为者与企业防守方同步跟随技术趋势。和企业防守方一样，威胁行为者正在关注大语言模型等人工智能技术，希望借以提高生产力，并利用可访问的平台来推进目标实现、提升攻击技术。

微软与OpenAI合作对网络威胁生态进行研究，尚未发现大家密切关注的大语言模型被用于重大攻击。不过，微软认为这项重要研究成果需要公开发布，因为它揭示了目前观察到的知名威胁行为者正在尝试的早期、渐进性举措，并给出应该如何阻止和应对这些行为者的措施。

攻击者会持续对人工智能保持兴趣，并探索当前技术的功能和安全控制措施。重要的是，我们需要将这些风险置于具体情境中加以理解。像多因素身份验证和零信任防御等网络卫生实践一样重要，因为攻击者可能利用基于人工智能的工具，来改进其现有的网络攻击模式，比如通过社会工程学试图找到未受保护的设备和帐号。

本文列举了一些威胁行为者的活动示例。网络安全行业迫切需要使用MITRE的ATT&CK框架或ATLAS知识库更新，更好地跟踪它们的战术、技术和程序（TTPs）。

森林暴雪

森林暴雪（STRONTIUM）是俄罗斯军事情报机构GRU第26165单位相关的俄罗斯军事情报行为者，其主要目标是对俄罗斯政府具有战术和战略利益的受害者。他们的活动覆盖了多个行业，包括国防、交通/物流、政府、能源、非政府组织和信息技术等。

俄乌战争期间，森林暴雪一直积极攻击与冲突有关的组织。微软认为，无论是在乌克兰还是在更广泛的国际社会，森林暴雪的行动都有力地支持了俄罗斯的外交政策和军事目标。森林暴雪与其他研究人员跟踪的威胁行为者（如APT28和Fancy Bear）有所重叠。

森林暴雪主要使用大语言模型对各种卫星和雷达技术进行研究，这些技术可能与在乌克兰进行的常规军事行动或支持网络攻击的通用研究有关。根据这些观察，相关TTPs分类描述如下：

  • 大语言模型指导的侦察：与大语言模型交互以了解卫星通信协议、雷达成像技术和特定技术参数。这些交互行为表明威胁行为者试图更为深入地了解卫星的能力。

  • 大语言模型增强的脚本技术：寻求在基本脚本任务中提供支持，包括文件操作、数据选择、正则表达式和多处理，以期自动化或优化技术操作。

据微软观察，森林暴雪的大语言模型互动与鲑鱼台风（Salmon Typhoon）类似，说明对手在探索如何使用新技术。与其他对手一样，与森林暴雪相关的所有帐号和资产已被禁用。

翡翠雨

翡翠雨（THALLIUM）是归属朝鲜的威胁行为者，在2023年一直保持高度活跃。最近，他们依靠钓鱼邮件来窃取和收集对朝鲜问题具有专业知识的知名人士的情报。据微软观察，翡翠雨冒充声望良好的学术机构和非政府组织，诱使受害者回复有关与朝鲜有关的外交政策的专家见解和评论。翡翠雨与其他研究人员跟踪的威胁行为者（如Kimsuky、Velvet Chollima）有所重叠。

翡翠雨使用大语言模型支持上述活动，涉及对朝鲜问题智库和专家的研究，以及生成可能用于钓鱼攻击的内容。翡翠雨还与大语言模型互动，以了解公开已知的漏洞、排除技术问题、帮助使用各种网络技术。根据这些观察，相关TTPs分类描述如下：

  • 大语言模型辅助的漏洞研究：与大语言模型交互，以更好地了解公开报道的漏洞，例如CVE-2022-30190微软支持诊断工具（MSDT）漏洞（称为Follina）。

  • 大语言模型增强的脚本技术：利用大预言模型进行基本的脚本编写任务，例如对系统中的某些用户事件进行程序化识别，并寻求帮助排除故障、理解各种Web技术。

  • 大语言模型支持的社会工程学：利用大语言模型协助起草和生成可能用于针对具有区域专业知识的个人的钓鱼攻击的内容。

  • 大语言模型指导的侦察：与大语言模型交互，以识别重点关注国防问题或朝鲜核计划的朝鲜问题智库、政府组织或专家。

与翡翠雨相关的所有帐号和资产均已被禁用。

深红沙尘暴

深红沙尘暴（CURIUM）是归属伊朗的威胁行为者，被认为与伊斯兰革命卫队（IRGC）有联系。至少自2017年以来保持活跃。深红沙尘暴已针对多个行业进行了攻击，包括国防、海运、交通运输、医疗保健和技术。这些行动经常依赖于诱饵攻击和社会工程，以传递定制的.NET恶意软件。此前研究发现，其使用基于电子邮件C2通道的定制恶意软件。深红沙尘暴与其他研究人员跟踪的威胁行为者（如Tortoiseshell、Imperial Kitten和Yellow Liderc）有所重叠。

深红沙尘暴对大语言模型的使用，与安全社区观察到的其更广泛行为特征相符。该威胁行为者与大语言模型的交互包括寻求社会工程方面的支持、帮助排除故障、.NET开发以及攻击者在受损计算机上如何避免检测的方式。根据这些观察，相关TTPs分类描述如下：

  • 大语言模型支持的社会工程学：与大语言模型交互以生成各种钓鱼邮件，包括假冒来自国际发展机构的邮件和试图诱使著名女权主义者访问攻击者构建的女权主义网站的邮件。

  • 大语言模型增强的脚本技术：使用大语言模型生成支持应用程序和Web开发的代码片段，与远程服务器交互，Web抓取，在用户登录时执行任务，以及通过电子邮件发送系统信息等。

  • 大语言模型增强的异常检测规避：试图利用大语言模型辅助开发代码以规避检测，学习如何通过注册表或Windows策略禁用防病毒软件，并在应用程序关闭后删除目录中的文件。

所有与深红沙尘暴相关的帐号和资产均已禁用。

大语言模型领域的TTPs

基于以上分析的见解，以及人工智能的其他潜在滥用行为，微软梳理了大语言模型主题的TTPs清单，并将其映射并分类到MITRE ATT＆CK框架或ATLAS知识库中，为社区提供一种共同的分类方法，便于联手跟踪大语言模型的恶意使用并创建对策：

大语言模型指导的侦察：利用大语言模型收集关于技术和潜在漏洞的可行情报。

大语言模型增强的脚本技术：利用大语言模型生成或完善可用于网络攻击的脚本，或用于基本的脚本编写任务，如在系统上编程识别特定用户事件并协助故障排除和理解各种网络技术。

大语言模型辅助开发：在工具和程序的开发生命周期中利用大语言模型，开发包括恶意软件在内的恶意工具。

大语言模型支持的社会工程学：利用大语言模型辅助翻译和沟通，可能用于建立联系或操纵目标。

大语言模型辅助漏洞研究：利用大语言模型了解并识别软件和系统中的潜在漏洞，这些漏洞可能成为攻击目标。

大语言模型优化的载荷制作：利用大语言模型协助创建并完善用于部署网络攻击的载荷。

大语言模型增强的异常检测规避：利用大语言模型开发方法，使恶意活动与正常行为或流量混为一体，以规避检测系统。

大语言模型指导的安全功能绕过：利用大语言模型寻找绕过安全功能的方法，如双因素身份验证、CAPTCHA或其他访问控制。

大语言模型建议的资源开发：在工具开发、工具修改和战略运营规划中利用大语言模型。

总之，人工智能技术将继续发展，并受到各种威胁行为者的研究。微软将继续跟踪威胁行为者和滥用大型语言模型的恶意活动，并与OpenAI等合作伙伴携手分享情报，提高客户保护水平，为更广泛的安全社区提供帮助。

参考资料：https://www.microsoft.com/en-us/security/blog/2024/02/14/staying-ahead-of-threat-actors-in-the-age-of-ai/

声明：本文来自安全内参，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。