去年我们连续发布了三篇关于AI安全的原创研究《拥抱AI，网络安全的机会在哪里》、《LLM时代，你应当认识的三家AI安全厂商》和《AI安全行业基础分析框架》，分享了模型内生安全（AI Safety）和模型应用安全（Security for AI）的分类，也带大家认识了Robust Intelligence、Calypso AI和Patornus AI三家模型内生安全厂商。今天，小编给大家带来第四篇AI安全研究——著名的模型应用安全厂商HiddenLayer。

公司简介

HiddenLayer成立于2022年3月，总部位于美国德克萨斯州奥斯汀市，是一家AI模型应用安全厂商。HiddenLayer提供首创的非侵入性软件方法，旨在帮助企业检测和防止针对机器学习系统的网络攻击。它提供即插即用的AI安全性，不会从AI模型的层面增加不必要的复杂性，也不需要访问原始数据和算法。这种产品形态就是业内俗称的“AI防火墙”。

除了核心产品AISec平台以外，HiddenLayer还提供针对机器学习系统的风险评估培训、红队评估服务等。公司通过与英特尔和Databricks建立合作关系，以及获得2023年度RSCA创新沙盒冠军和SC Media最有前途的早期初创公司等荣誉，提高了其行业知名度。

团队背景

HiddenLayer的官网中提到，团队成立的契机源自于2019年在Cylance发生的一次真实的对抗人工智能攻击事件。三位创始人Sestito、Tanner Burns、Jim Ballard在创立HiddenLayer之前，都曾在Cylance工作。Cylance被很多人认为是全球最早在网络安全领域以人工智能技术著称的厂商，能够通过深度学习等技术来防止恶意软件攻击。它于2019年被黑莓公司以14亿美元现金收购，当时Sestito正领导着Cylance的威胁研究。攻击者利用推理攻击（inference attack）技术，暴露了Cylance的Windows可执行ML模型的一个缺陷，使其产生可绕过Cylance病毒检测的二进制文件，并感染了Cylance的客户。正是经历了此次对AI模型的网络攻击，三位创始人萌生了创立HiddenLayer的想法。

Chris ‘Tito’ Sestito：HiddenLayer的联合创始人&CEO，曾在Cylance担任高级威胁研究员、威胁研究经理和威胁研究总监等职位。他还曾在The Media Trust担任恶意软件分析师，在Agari担任数据科学高级总监，在Qualys担任工程和数据科学副总裁。

Tanner Burns：HiddenLayer的联合创始人&首席科学家，曾在Cylance担任威胁研究员。在HiddenLayer主要负责MLDR产品的架构、设计和开发。

Jim Ballard：HiddenLayer的联合创始人&CIO，曾在Cylance担任数据策划团队负责人。在过去的十年中，他担任过许多研究职务，包括Cylance/BlackBerry的恶意软件威胁研究。

融资历史

截至目前，HiddenLyaer已进行了三轮融资，累计获得8800万美元融资。公司继获5000万美元A轮融资后，还获得了美国国防部战略资助。

  • 2022年7月，获得种子轮600万美元的融资，由Ten Eleven Ventures领投，Secure Octane参与投资。

  • 2023年7月，获得Pre-A轮3200万美元的融资，投资方未披露。

  • 2023年9月，获得A轮5000万美元的融资，由M12和Moore Strategic Ventures联合领投，Booz Allen Ventures、IBM Ventures、Capital One Ventures和Ten Eleven Ventures参与投资。这是2023年AI安全领域金额最高的A轮融资。

  • 2023年10月，获得美国国防部130万美元战略资助。

技术方案

产品侧：AISec平台，由HiddenLayer MLDR和ModelScanner组成

HiddenLayer的AISec平台是一个AI/ML保护套件，可确保模型在整个MLOps管道中的完整性。通过确保预训练模型的安全性、检测恶意注入以及监控算法输入和输出是否存在潜在威胁，AISec平台提供了为机器学习量身定制的自动化和可扩展防御，这样就可以主动响应攻击，而无需访问私有数据或模型。

  1. MLDR：机器学习威胁检测与响应

与端点检测和响应 （EDR）、扩展检测和响应 （XDR） 或托管检测和响应 （MDR） 等技术相类似，机器学习威胁检测和响应（MLDR）旨在识别和防止针对机器学习系统的攻击。MLDR监视机器学习模型的输入和输出，即发送到模型的请求以及相应的模型预测。通过分析流量中是否存在任何恶意、可疑或异常活动，MLDR可以在非常早期的阶段检测到攻击并提供响应方法。

HiddenLayer MLDR由两部分组成：本地安装的客户端和基于云的传感器，客户端通过API与云传感器通信。客户端将所有模型查询的输入向量及相应的预测发送到HiddenLayer的API，然后对这些数据进行处理和分析，以发现恶意或可疑活动。一旦检测到此类活动的任何迹象，警报可以通过Splunk、DataDog、HiddenLayer UI或客户端命令行脚本发送给客户。

HiddenLayer MLDR框架

客户

  • HiddenLayer MLDR采用后矢量化，杜绝客户数据隐私泄露的风险。机器学习模型将所有类型的输入数据（图像、音频、文本、数据）转化为数据向量后才能被摄取，即意味着HiddenLayer的客户端只能读取到匿名化的特征向量，无法访问原始形式的输入数据。

  • HiddenLayer MLDR可以使用单个命令安装客户端，并可以在几分钟内无缝集成到客户的MLOps管道中。

告警

  • HiddenLayer MLDR 提供了多种告警方式：REST API、HiddenLayer仪表板、现有工作流的SIEM集成。

  • HiddenLayer与 MITRE ATLAS（人工智能系统的对抗性威胁态势）保持一致，拥有针对整个行业的对抗性机器学习攻击的工作标准。

【注：ATLAS于2021年推出，是对完善的MITRE ATT&CK框架的补充，该框架为传统网络攻击的分类提供了指南，涵盖了针对机器学习系统的攻击的战术、技术和案例研究。来自HiddenLayer MLDR的警报指定类别、描述和ATLAS策略ID，以帮助将已知攻击技术与ATLAS数据库相关联。】

攻击响应

  • 限制特定模型或请求程序的访问速率或阻止访问。

  • 更改分数分类以防止梯度/决策边界的发现。

  • 重定向流量并对正在进行的攻击进行持续分析。

  • 引入人工干预，进行手动分类和响应。

  1. ModelScanner：模型扫描器

ModelScanner可确保模型在进入企业环境之前没有对抗性代码。ModelScanner通过分析人工智能模型来识别隐藏的网络安全风险和威胁，例如恶意软件、漏洞和完整性问题。

产品能力：

  • 恶意软件分析：扫描AI模型中的嵌入式恶意代码。

  • 漏洞评估：扫描已知的CVE和针对AI模型的零日漏洞。

  • 模型完整性：分析AI模型的组成，检测是否受到篡改或损坏。

  • 综合使用静态检测、动态分析和人工智能技术来识别恶意软件、漏洞、模型完整性和损坏问题。

ModelScanner易于使用，客户只需将模型上传到基于web的产品界面或HiddenLayer的API，即可自动分析其是否存在安全风险。同时ModelScanner还会为客户提供详细的报告，包括如何解决问题和改进模型安全状态的建议。

服务侧

随着全球人工智能法规的不断升级，包括欧洲的《人工智能法案》、拜登的人工智能行政命令、谷歌和IBM等知名行业领导者最近发布的人工智能框架等，HiddenLayer一直在努力提高其专业服务，以满足不断增长的客户需求。目前HiddenLayer所提供的服务内容主要如下：

  • AI Risk Assessment：人工智能风险评估。详细分析机器学习运营生命周期，深入分析关键的人工智能模型以确定当前人工智能投资对组织构成的风险。

  • Adversarial ML training：对抗性训练。为期两天的培训为数据科学和安全团队提供对抗性机器学习TTP的理解以及最有效的防范措施。确定内部测试过程所需的适当后续步骤和修改，包括ML模型和进攻性AI工具的概述。

  • Red team assessment：红队评估。对抗性机器学习研究（Adversarial Machine Learning Research，AMLR）团队将利用攻击者使用的相同的TTP来评估现有的人员、流程和控制当前检测和阻止攻击的程度。

  • MLDR Implementation service：MLDR实现服务。专业地实施和整合HiddenLayer的MLDR产品到AI/ML环境中，为数据科学和安全团队提供所需的功能和可见性，以预防攻击、提高响应速度，并最大化模型的有效性。

  • Security for AI retainer service：AI保留服务。由对抗性机器学习研究（AMLR）团队领导的年度保留服务，提供全方位的MLOps生命周期支持，包括事件响应计划、定期风险评估和对抗性机器学习团队培训。

生态合作伙伴

HiddenLayer已与Databricks等创新型大数据组织以及MITRE等安全标准领导者建立了合作伙伴关系。同时HiddenLayer已经在金融、保险、医疗、电信等多个行业落地，并与数家财富100强公司合作，包括美国银行、花旗银行、惠普、红帽等。

2024年1月，HiddenLayer提出一项新的渠道合作伙伴计划，旨在为企业提供完整的AI保护，包括在整个MLOps生命周期内的快速威胁检测和安全。该计划允许合作伙伴无缝加入，并且提供透明的定价、灵活的许可模式和首创的人工智能安全 （AISec） 平台。合作伙伴能够就新的威胁形势对客户进行教育，并提供客户所需的解决方案，以保护他们的人工智能和竞争优势，建立更牢固的关系。

结语

一方面，行业发展到今天，AI安全的需求确定性已是行业共识，HiddenLayer斩获2023 RSAC创新沙盒冠军在某种程度上也意味着AI安全成为最受瞩目的新兴安全赛道。除了最著名的HiddenLayer，2023年四季度以来，AI安全初创公司几乎以平均每周一家的速度持续拿到融资，赛道在国内外已经有越来越多创业者和投资人入局。

另一方面，对于开发或使用AI的组织，在保护AI模型安全的同时尽量不增加多余的工作成本，也是一项重要的考量。HiddenLayer的最大创新之处在于用首创的非侵入性软件方法为AI安全带来一种全新的解决思路，它提供了即插即用的AI安全性，不会从AI模型的层面增加不必要的复杂性，也不需要访问原始数据和算法。

模型内生安全（AI Safety）和模型应用安全（Security for AI）是AI安全最重要的两个细分领域。模型内生安全关注模型固有的内在机理缺陷，Robust Intelligence、Calypso AI和Patornus AI是模型内生安全的海外代表厂商。模型应用安全关注模型从开发、部署到运行交互全生命周期的安全性，HiddenLayer是模型应用安全的海外代表厂商。两个领域未来会保持独立还是走向融合，行业趋势值得大家持续关注。

作者：周文露

编辑：郑嘉骐

参考资料

https://hiddenlayer.com/research/safeguarding-ai-with-mldr/

https://21998286.fs1.hubspotusercontent-na1.net/hubfs/21998286/HL_Datasheets_Jan2024.pdf

https://hiddenlayer.com/research/mitre-atlas-at-crossroads-of-cybersecurity-and-artificial-intelligence/

https://www.prnewswire.com/news-releases/hiddenlayer-awarded-phase-2-sbir-grant-by-the-us-department-of-defense-301965345.html

https://hiddenlayer.com/research/securing-your-ai-systems-with-hiddenlayer-professional-services/

voyagers partners

声明：本文来自航行资本，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。