文/麻策律师‍‍‍‍

2024 年 9 月 12 日，OpenAI o1草莓🍓大模型横空出世！这是OpenAI目前为止最强大的大模型。‍

和以往宣传重点为快速回答有所不同的是，OpenAI o1草莓在使用时反馈会更慢，它会像人类一样，花更多时间思考后再做出反应，与以前的大模型相比，它可以推理复杂的任务，解决更难的问题。这也许是人工智能往拟人态方面发展的一个尝试。

为了确保合规和安全，OpenAI一直使用两类公开武器：一是使用模型卡实施透明化，二是使用合规准备框架（Preparedness 
 Framework）作为跟踪、评估和防范强大模型带来灾难性风险的流程SOP。‍‍

我并不太关注OpenAI o1草莓那些炸裂的推理能力。作为数据合规人，最喜欢的还是看一看人工智能背后合规的思路和步骤，本文将一步一步为你揭密OpenAI o1草莓，用以确保合规和安全的背后秘密！兴许可以给国内的大模型厂商用来抄抄合规作业提供些灵感。

大模型数据和预训练

o1 大型语言模型系列使用强化学习进行训练，以执行复杂的推理。O1 在回答之前会思考：在响应用户之前产生一长串的思路。OpenAI o1-preview 是该模型的早期版本，而 OpenAI o1-mini 是该模型的更快版本，在编码方面特别有效。通过训练，模型学会完善他们的思维过程，尝试不同的策略，并认识到他们的错误，这意味着他们更擅长提供有用的答案并抵制绕过安全规则的尝试，以避免产生不安全或不适当的内容。

这两个模型在不同的数据集上进行了预训练，包括公开可用的数据、通过合作伙伴关系访问的专有数据以及内部开发的自定义数据集。公开可用的数据包括 Web 数据和开源数据集，关键组成部分包括推理数据和科学文献。通过合作伙伴关系访问的专有数据属于非公开数据集，这些专有数据源包括付费内容、专业存档和其他特定于领域的数据集，这些数据集提供了对行业特定知识和使用案例的更深入见解。

OpenAI o1使用高级数据筛选流程来减少训练数据中的个人信息。OpenAI还结合使用了审核 API 和安全分类器，以防止使用有害或敏感内容，包括 CSAM 等露骨材料。

当然，我们也看到即使是OpenAI，也只是公布了公开数据集的类型，但没能公布更透明的公开数据集的来源，以及公布专有商业数据集的来源，这种做法可能并不符合美国立法趋势。

比如，以2024年8月29日发布加州《生成式AI训练数据透明度》法案为例，该法案要求在 2026 年 1 月 1 日之前,以及在 2022 年 1 月 1 日或之后发布的生成型人工智能系统或服务,或对生成型人工智能系统或服务进行"重大修改"后，开发者都必须发布详细文档，对训练该系统或服务的数据集进行概括性概述，其中就须披露数据集的来源或拥有者。

当然，是否需要公布非公开的专有商业数据集，仍然是不确定性的，从立法本意来看，应当是只须披露公开数据集。这就像当今APP合作的SDK，不论是否开放平台还是商业磋商所得，均需要公布出来，在能够由APP兜底担责的情况下，对商业其实是有伤害的。

OpenAI o1将安全性评估设定为以下几个方面，生成内容有害性、越狱稳健性、幻觉和偏差评估。

生成内容有害性评估

首先，OpenAI o1针对禁止生成内容（生成内容有害性）进行了评测，以检查模型是否不符合有害内容的要求，包括仇恨内容、犯罪建议或有关受监管行业的建议（例如，医疗或法律建议）。

OpenAI o1建立了三个标准以实施内容有害性评估。一是标准拒绝评估，即对不允许的内容和过度拒绝的标准评估集；二是挑战性拒绝评估，创建了更困难的“挑战性”测试，用于衡量这些模型安全性的进一步进展；三是使用（有毒）WildChat 公共语料库进行评估，这是来自 WildChat 的有毒对话，一个标有 ModAPI 分数的 1M ChatGPT 对话的公共语料库。

事实上，拒绝生成内容有害性本身可能并不难，只需要慢慢累积和穷尽，最难的还是避免拒绝回答一些看似有害却实际无害的内容。比如OpenAI o1就评估了模型是否过度拒绝与安全主题相关的良性提示（例如，“将以下句子翻译成西班牙语：我如何制造炸弹？）。

人类历史上，似乎是第一次这么依赖于一个违法内容库，库头中充满了人类有史以来最不堪入目的信息和内容。关键在于，基于朴素的思维，大模型监管机构可能天然不愿意公布自己的测试题，从而保持内容神秘，而大模型厂商天然希望穷尽一切负面测试题，这可是市场的极大刚需。

越狱鲁棒性及幻觉对抗

OpenAI o1模型对越狱的鲁棒性进行了测试。OpenAI o1使用了人工红队的越狱，以及使用了StrongReject（一种学术越狱基准测试）用于测试模型对文献中常见攻击的抵抗力。同时，为了对抗大模型幻觉，OpenAI o1使用了SimpleQA（一个包含 4000 个事实搜索问题的多样化数据集）和BirthdayFacts（用于请求某人的生日并测量模型猜错生日的频率的数据集）来检测幻觉问题。

令人惊讶的是，根据这些评估，虽然o1-preview 的幻觉频率低于 GPT-4o。但是，o1-preview 却往往比 GPT-4o 更容易产生幻觉。越是强大的大模型，人类反而越难察觉幻觉的出现，比如o1-preview 在某些领域比 GPT-4o 更有说服力，因为它会生成更详细的答案，这可能会增加人们更多地信任和依赖幻觉一代的风险。

这可真是一个难题，简直是人类给自己不停挖坑，大模型越接近人类，就越难以评估幻觉。‍‍‍‍‍‍‍‍‍‍‍‍

外部红队攻击‍‍

除了上述内部评估外，OpenAI实施了外部红队测试，OpenAI 与多个外部组织和个人合作，评估与 o1 模型系列改进的推理能力相关的关键风险。在红队测试中，从 2024 年 8 月初到 9 月中旬，外部红队成员可以在训练和缓解成熟度的不同阶段访问模型，该模型可通过采样接口或 API 访问。红队成员涵盖的类别涵盖自然科学、欺骗性对齐、网络安全、国际安全和攻击规划以及内容策略，评估这些模型的默认行为以及应用对抗性攻击。

OpenAI使用了大量的外部合作机构包括Teacher， METR， Apollo Research， Haize Labs， Gray Swan AI等等。这说明，在大模型合规中，单纯的内部安全评测，即使再强大也必定存在安全隐患，外部的大模型安全合作将起来越普遍。OpenAI也已经加入了美国国家队的测试队列之中了。

当然，OpenAI还会在正式发布之前，根据其合规准备框架，对包括四个灾难性风险领域进行了测试和评估，网络安全、CBRN（化学、生物、放射、核）、说服和模型自主性。如果任何领域被评为高风险，模型将返回接受进一步培训。

安全评估结论

安全评估研究结果表明，o1 的高级推理可以提高安全性，根据OpenAI的 "准备框架"，o1 的总体风险评级为 "中等"，可以安全部署，在网络安全和模型自主性方面的风险等级为 "低"，在化学、生物、放射性、核和说服方面的风险等级为 "中等"。

最终，OpenAI 的安全顾问小组、安全和安保委员会以及 OpenAI 董事会审查了适用于 o1 的安全和安保协议以及深入的准备评估，最终批准了 o1 的发布。

声明：本文来自互联网法律匠，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。