今天，和大家分享公号君在今年4月份关于生成式AI标准化需求会议中的发言提纲。
标准研讨会发言大纲
洪延青
2023年4月7日
首先，新技术新应用方面的规制，监管采取的思路已经是比较具体化的思路。比如，推荐算法、深度合成技术，都有专门的规定。也许未来，生成式AI也可能会出专门的规定。换句话说，当具体的一个技术路线或者应用相对成熟、或者已经或可能被大规模应用，就需要专门的规则。我觉得标准思路可能得跟上。目前，我们已经有机器学习方面的标准，我也在承担自动化决策方面的安全要求的标准。那对于生成式AI，是否应该有一个专门性的标准？
第二点，目前监管方面的规则，主要是我所说的一种从外部治理的思路。什么叫做从外部治理？就是，保持整个技术研发是个黑盒的状态。从外部提出具体的安全要求，比如深度合成的东西，需要有标识（例如水印）；比如提出一些行为方面的禁止性要求，任何人不得利用深度合成技术如何如何。再比如，生成结果必须人工或者技术审核，定期开展安全评估。这些要求总给人感觉很通用，不解渴。推荐算法可以这么要求、深度合成可以这么要求、将来生成式AI也可以这么要求。
也许规则只能这么规定，但咱们的标准就不该还是这种外部治理思路。而是应该深入到黑盒子的内部，抓住一些关键的环节，卡住点、卡住位。
对于生成式AI，我想提两个方面的标准化建议。
目前看来，AI训练的技术思路都是比较“中性化”的，没有带什么价值观色彩。比如大语言模型用的Transformer这个逻辑，这个逻辑打开看，主要是注意力机制、多头注意机制，这体现了模型提出者背后的一种将纷繁复杂的世界模型化的一种努力。这是不可避免的，也是要允许技术创新和发展的。但是训练完之后，以及为什么现在的大语言模型让我们“惊艳”，主要是训练完之后，有一个alignment的环节（即AI的对齐问题）。
所谓的AI的对齐问题（Alignment problem），是指确保人工智能系统的目标和价值观与人类的目标和价值观一致的挑战。随着AI技术的不断发展，强大的AI系统可能会产生不可预测的行为，如果这些行为与人类的利益不一致，那么就可能导致严重的后果。对齐问题的核心是如何让AI系统在没有误解或误导的情况下理解和执行人类的意图。最主要的是保证目标规范：确保AI系统的目标与人类的目标相匹配。这通常涉及到对AI系统进行明确的编程，以便它们能够根据我们的价值观和利益采取行动。
业界目前普遍认为Alignment这个环节中，OpenAI公司使用的基于人类反馈的增强学习（RLHF）是关键。这个环节，用什么样的基准来对齐训练出来的AI，至关重要，是存在价值观的。因为人参与了。
所以我的第一个建议是，能不能就对齐问题，出一个标准要求或者规范。
第二个建议就是所谓的AI发布问题。就是要面向市场了，如何发布、什么样的形式发布、覆盖用户范围是什么样的发布等。Meta 的大模型和OpenAI的ChatGPT就采取了不同的发布形式。
具体来说，AI发布问题（AI deployment problem）是指在将人工智能（AI）系统投入实际使用之前，需要解决的一系列挑战和问题。这些问题涉及到如何确保AI系统在现实环境中的性能、安全性、可靠性、道德和法律合规性等。以往看来，AI发布已经产生了如下问题或者事项：
性能：确保AI系统在实际应用场景中能够达到预期的性能水平。这包括训练模型以获得更高的准确性、降低误报率以及优化系统以在实时环境中高效运行。
安全性：保护AI系统免受潜在的攻击和操纵。这包括对抗性攻击（如对抗性样本）、数据泄露以及其他可能损害系统安全的行为。
可靠性：确保AI系统在各种条件下都能稳定运行。这包括容错、异常检测和处理，以及在不同硬件和软件环境下的兼容性。
道德和法律合规性：确保AI系统在实际应用中遵循道德准则和法律规定。这涉及到数据隐私、使用限制、算法歧视和偏见等问题。
可解释性：让AI系统能够以一种容易理解的方式与人类交流，使人们能够追踪、预测和解释AI的决策过程。
社会影响：评估AI系统对社会、文化和经济等方面的潜在影响。这包括就业机会、收入不平等、技能需求等问题。
环境影响：考虑AI系统在生命周期中对环境的影响，包括能源消耗、碳排放和电子废物等问题。
现阶段，发布问题都是公司的高层的决策，并没有考虑这些方面。所以这个环节也是可以有专门的标准规范的。
以上就是我发言的内容，感谢给我这个机会。
声明：本文来自网安寻路人，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
