Protect AI一手打造了开源软件（OSS）漏洞赏金平台Huntr，如今，这家公司更进一步，按Apache 2.0许可条款开源其三款AI/ML安全工具。
第一款工具 NB Defense
该公司开发的第一款工具NB Defense，用于保护在 Jupyter Notebooks 中开发的机器学习项目，Jupyter Notebooks 是数据科学家青睐的常见应用程序。Jupyter具有测试代码和软件包的固有功能，随着其广泛应用，黑客开始盯上这款工具。因此，Protech AI开发了NB Defense，一个用于扫描Notebook的工具，可以查找秘密、个人身份信息（PII）、CVE暴露和受限于限制性第三方许可的代码等漏洞。JupityrLab扩展可以发现并修复Notebook中的安全问题，而CLI工具可以同时扫描多个Notebook，并能自动扫描上传到中央存储库的Notebook。
第二款工具 ModelScan
第二款工具ModelScan源于团队在互联网上共享ML模型的需求，因为越来越多的公司要开发内部使用的AI/ML工具。ModelScan扫描Pytorch、Tensorflow、Keras和其他格式的模型序列化攻击，比如凭证盗窃、数据投毒、模型中毒和权限提升（武器化模型用以攻击其他公司资产）。
第三款工具 Rebuff
第三款工具Rebuff是Protect AI在2023年7月获得的现有开源项目，还在持续开发中。Rebuff解决的是提示注入（PI）攻击，防止攻击者将恶意输入发送给大语言模型（LLM），从而避免输出篡改、敏感数据暴露和未授权操作。该自强化提示注入检测框架采用四层防御：启发式方法——过滤潜在恶意输入，防止恶意输入进入模型；专用LLM——分析传入提示，识别潜在攻击；已知攻击数据库——帮助识别和防御后续类似攻击；金丝雀标记——修改提示，从而检测泄露。
AI和LLM在大大小小企业中的广泛应用同样催生了保护或攻击此类模型的工具。比如说，今年RSA大会创新沙箱的胜者HiddenLayer，就以保护这些模型不遭篡改为己任。2021年，微软发布了一个安全框架及其自有开源工具，用于保护AI系统免遭对抗攻击。而最近曝出的TorchServe缺陷，则凸显出即使是沃尔玛和三大云服务提供商这种全球最大玩家也面临着现实世界风险。
Protect AI的这三款工具：NB Defense、ModelScan和Rebuff，均可从GitHub获取。
NB Defense：https://github.com/protectai/nbdefense
ModelScan：https://github.com/protectai/modelscan
Rebuff：https://github.com/protectai/rebuff
* 本文为nana编译，原文地址：https://www.darkreading.com/dr-tech/protect-ai-releases-3-ai-ml-security-tools-as-open-
声明：本文来自数世咨询，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
