2023年11月27日，美国、英国和其他十几个国家公布了首份关于如何保护AI免受流氓行为侵害的详细国际协议《安全AI系统开发指南》，敦促企业打造“设计安全”的AI系统。
协议由英国国家网络安全中心（NCSC）主导，并与美国网络安全和基础设施安全局(CISA)共同制定，从而建立了AI领域的全球合作。
作为世界各国政府为推动AI发展而采取的一系列举措中的最新一项，《安全AI系统开发指南》旨在提高AI的网络安全水平，并帮助确保AI的设计、开发和安全部署。协议分为四个关键领域——安全设计、安全开发、安全部署以及安全操作和维护。其不具备约束力，主要包含一般性建议，例如监控AI系统是否被滥用、保护数据免遭篡改以及审查软件供应商等。
在一份长达20页的文件中，18个国家一致认为，设计和使用AI的公司需要以确保客户和公众免受滥用的方式开发和部署。《安全AI系统开发指南》将帮助任何使用AI的系统的开发人员在开发过程的每个阶段做出明智的网络安全决策——无论这些系统是从零开始设计的，还是建立在已有的工具和服务之上的。
具体而言，该指南为AI系统安全开发提出了四大方面的监管要求：
01 要优先考虑“设计安全”和“默认安全“
其中多次强调了“设计安全”和“默认安全”原则，即AI开发公司应该主动保护AI产品免受攻击的方法。起草者敦促AI开发人员在决策过程中优先考虑安全，而不单单注重功能和性能。准则还建议产品提供设置为最安全的默认应用选项，并向用户清楚地传达替代该默认配置的风险。根据指南的要求，AI系统的开发人员应该为下游的应用结果承担责任，而不是依赖客户去控制安全。
02 密切关注复杂的供应链安全
AI工具开发人员在设计自己的产品时常依赖第三方组件，比如基础模型、训练数据集和API。庞大的供应商网络会给AI系统带来更大的攻击面，其中任何一个薄弱环节都可能会对产品的安全性产生负面影响。因此，准则要求开发人员在决定引用第三方组件时，需要充分评估其中的安全风险。在与第三方合作时，开发人员应该审查和监控供应商的安全状况，要求供应商遵守与自己组织相同的安全标准，并对导入的第三方代码实施扫描和隔离。
03 考虑AI应用中面临的独特风险
AI系统应用时会产生一些特有的威胁（如提示注入攻击和数据中毒），因此开发者需要充分考虑AI系统独特的安全因素。AI系统“设计安全”方法的一个重要组成部分就是为AI模型输出设置安全护栏，以防止敏感数据泄露，并限制用于文件编辑等任务的AI组件的操作。开发人员应该将AI特有的威胁场景纳入发布前的测试中，并监控用户输入以判断是否存在恶意利用系统的企图。
04 AI系统安全开发应该具有持续性和协作性
指南中概述了贯穿AI系统设计、开发、部署、操作及维护等全生命周期阶段的最佳安全实践，并强调了要持续监控已部署AI系统的重要性，这样能够发现模型行为方面的变化和可疑的用户输入。“设计安全”原则是任何软件更新的关键组成部分，准则建议开发者在默认情况下自动更新。最后，指南还建议开发人员利用更庞大的AI社区反馈和信息共享，不断改进系统的安全性。
来源｜NCSC、SC Media
声明：本文来自上海市人工智能与社会发展研究会，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
