编者按

美国联邦政府资助的MITRE公司正基于网络战场景开展开创性人工智能模型测试，旨在确定大语言模型（LLM）是否可以增强网络操作或带来新的安全风险，特别是在生成或识别恶意代码方面。

MITRE利用现有和定制的工具，已经开发出一种全面的方法来评估LLM在网络安全环境中的能力。第一项测试通过一组关于模拟网络作战场景的多项选择题来测试基础的、未经增强的和未进行任何特殊调整的LLM，内容涵盖了MITRE ATT&CK的广泛内容，通过随机化的设定避免受试LLM简单地记住正确答案，并且LLM需要全面了解进攻性网络行动才能得出正确答案。第二项测试要求LLM模拟MITRE的安全侦察工具“猎犬”，以评估其理解和复制复杂安全软件的能力。第三测试通过数据生成模型CyberLayer来创建新网络、更改拓扑结构、模拟社交网络，从而让LLM开展模拟网络攻击，以评估其在进攻场景中的战略决策能力。

上述测试为了解LLM在防御性和进攻性网络安全行动中的潜在应用和局限性提供了宝贵的见解，可能对未来人工智能网络安全工具和防御的开发和部署产生重要影响。测试的早期结果揭示了不同LLM模型在网络安全环境中功能的见解：更大型的LLM在第三项测试中表现更好，其中Meta的Llama 模型表现最佳，展示了其在先进网络操作方面的潜力；不同LLM在测试中的不同表现凸显了针对特定网络安全应用进行模型选择和微调的重要性。MITRE正在积极与更广泛的安全社区合作，以扩大和改进其研究方法，从而更好地理解LLM对网络安全格局的潜在影响，未来的研究可能集中于开发人工智能防御工具，以及探索减轻网络攻击中恶意使用LLM的潜在风险的方法。

奇安网情局编译有关情况，供读者参考。

随着大语言模型（LLM）的引入，网络安全格局正在迅速发展，促使研究人员研究其对网络运营和安全风险的潜在影响。

MITRE的开创性研究：MITRE是一家知名机构，拥有超过65年的美国联邦资助安全研究经验，在评估网络安全场景中与LLM相关的能力和风险方面处于领先地位。

  • MITRE研究人员正在开展一系列测试，以评估未增强的LLM 在各种网络操作场景中的表现，包括多项选择题和模拟网络攻击。

  • 测试旨在确定LLM是否可以增强网络操作，或者是否会带来新的安全风险，特别是在生成或识别恶意代码方面。

  • MITRE的研究成果在著名的黑帽大会上进行了展示，强调了研究成果对网络安全界的重要意义。

测试方法和工具：MITRE利用现有和定制的工具，已经开发出一种全面的方法来评估LLM在网络安全环境中的能力。

  • 第一项测试通过一组关于模拟网络作战场景的多项选择题来测试LLM，所测试的LLM是基础的、未经增强的和未进行任何特殊调整的LLM。各项测试的细节都可以随机化，以防止受试LLM简单地记住正确答案。要获得正确答案，需要利用对进攻性网络行动（OCO）的全面了解。MITRE以其策略、技术和程序的分类而闻名，此项测试涵盖了其中的广泛内容。

  • 第二项测试更为简单，要求LLM模拟 MITRE 的 安全侦察工具“猎犬”（Bloodhound），评估其理解和复制复杂安全软件的能力。“猎犬”工具旨在“揭示隐藏的关系并识别攻击路径”。

  • 第三项测试是MITRE最雄心勃勃的测试，涉及让LLM负责实际的网络攻击，以评估其在进攻场景中的战略决策能力。由于无法在现实世界的网络上开展此项测试，MITRE使用了一个名为“网络层”（CyberLayer）的模拟。CyberLayer是一种非常强大的数据生成模型，使得MITRE能够创建新网络、更改拓扑结构、模拟社交网络，并指挥LLM执行各种网络操作，从控制部门的每台Windows计算机到简单地将对一台服务器的控制转化为对另一台服务器的访问。

  • 这些测试为LLM在防御性和进攻性网络安全行动中的潜在应用和局限性提供了宝贵的见解。

初步发现和表现：MITRE测试的早期结果揭示了不同LLM模型在网络安全环境中的功能的有趣见解。

  • 更大的模型在第三项测试中往往表现更好，Meta的Llama 模型在 CyberLayer 测试中表现出色，展示了其在先进网络操作方面的潜力。

  • 不同LLM在测试中的不同表现凸显了针对特定网络安全应用进行模型选择和微调的重要性。

  • 这些发现可能对未来人工智能网络安全工具和防御的开发和部署产生重要影响。

协作方式和未来方向：MITRE正在积极与更广泛的安全社区合作，以扩大和改进其研究方法。

  • MITRE正在向安全专家寻求更多新颖测试想法的意见，以合作的方式应对人工智能在网络安全方面带来的挑战。

  • 这种开放式合作可以促进开发更强大的测试框架，并更好地理解LLM对网络安全格局的潜在影响。

  • 未来的研究可能集中于开发人工智能防御工具，以及探索减轻网络攻击中恶意使用LLM的潜在风险的方法。

对网络安全的更广泛影响：LLM与网络安全运营的融合为行业带来了机遇和挑战。

  • 随着LLM在网络安全任务方面表现出越来越高的能力，各组织和机构可能需要重新评估其安全策略并投资于人工智能工具，以防范潜在威胁。

  • 该研究还提出了关于在网络安全（特别是在进攻行动中）中负责任地开发和使用人工智能的重要道德考虑。

  • 随着这些技术的不断发展，研究人员、政策制定者和行业领袖必须共同努力，为LLM在网络安全中的安全有效地整合制定指导方针和最佳实践。

声明：本文来自奇安网情局，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。