最近几个月，诸如ChatGPT、Dall-E 2和Midjourney等生成式AI系统吸引了全世界的关注。这些AI系统是在大量的文本、图像或其他数据集上进行训练的。它们的显着特点是能够在各种不同的形式和语境中生成新颖的内容。因此，单个系统可用于执行许多不同类型的任务。例如，基于语言的系统可以执行翻译、汇总文本、建议对文本进行编辑或修订、回答问题或生成代码等任务。

虽然它们有很多好处，但生成式AI系统是强大的工具，也可用于恶意或不当目的。他们的生成能力与广泛的部署规模相结合，形成了独特的、潜在的、广泛的风险。这些特点引发了对生成式AI采取行动的紧急呼吁，包括领先的AI行业专家。近几个月来，国际社会已采取措施，促使这些系统更安全、更值得信赖。例如，G7（七国集团）最近启动了广岛AI进程，以协调关于生成式AI风险的讨论；2023年7月，美国总统拜登宣布了大型AI公司的八项自愿承诺，以支持安全、安保和信任。

加拿大已经采取了重大步骤，以确保这项技术以安全的方式发展。2022年6月，《人工智能和数据法案》（Artificial Intelligenceand DataAct，简称AIDA）作为C-27法案的一部分提交，旨在适应AI技术的新发展，并为加拿大政府监管AI系统（包括生成式AI系统）提供法律基础，从而解决AI系统的潜在风险。政府已经听取大量反馈意见并将采取行动，以确保该法案适应生成式AI系统的不断发展。

鉴于对安全保障的迫切需要和广泛支持，如果AIDA获得皇家批准，加拿大政府打算优先考虑对生成人工智能系统的监管。在此期间，加拿大创新、科学与经济发展部推出了一项业务准则，在AIDA生效之前，加拿大公司将在自愿的基础上执行该准则。该准则旨在足够强大，以确保生成式AI系统的开发人员、部署人员和操作员能够避免有害影响，建立对其系统的信任，并顺利过渡到遵守加拿大即将出台的监管制度。该准则还将有助于加强加拿大对国际审议提案的贡献，以解决生成式AI的风险。

自2022年6月提交的C-27号法案以来，加拿大政府已与利益相关者就AIDA进行广泛接触。根据迄今为止从利益相关者那里收集的意见，政府正在就生成式AI系统行为准则的以下潜在要素征求意见，以便对社会参与过程进行考虑和验证。这一过程将包括一系列虚拟和混合圆桌会议，以及通过加拿大政府AI咨询委员会的专家审查。

1.安全

在系统的整个生命周期中，必须全面考虑安全性，并广泛了解潜在影响，特别是在滥用误用方面。

生成式AI系统的开发人员和部署人员者将识别系统可能吸引恶意使用的方式（如使用系统冒充真实个人；使用系统进行“鱼叉式”攻击），并采取措施防止这种情况使用发生。

生成式AI系统的开发人员、部署人员和操作员将识别系统可能吸引有害的不当使用的方式（如使用大型语言模型提供医疗或法律建议），并采取措施防止这种情况发生，例如向用户明确系统的功能和限制。

2.公平公正

由于训练AI的数据集广泛、部署AI的规模庞大，生成式AI系统可能会对社会公平和公正产生重大不利影响，如偏见和有害的刻板印象。必须确保模型在适当和有代表性的数据上进行训练，并提供相关准确和公正的输出。

生成式AI系统的开发人员将评估和整理数据集，以避免低质量数据和非代表性的数据集/偏差。

生成式AI系统的开发人员、部署人员和操作员将采取措施评估和减轻有偏差的输出风险（如微调）。

3.透明度

生成式AI系统对透明度提出了特殊的挑战。它们的输出可能难以解释或合理化，并且它们的训练数据和源代码可能无法公开获得。随着生成式AI系统变得越来越复杂，确保个人意识到何时与AI系统或AI生成的内容进行交互非常重要。

生成式AI系统的开发人员和部署人员将提供可靠且免费可用的方法来检测AI系统生成的内容（如水印）；对开发系统的过程进行有意义的解释，包括培训数据的来源，以及为识别和解决风险而采取的措施。

生成式AI系统的操作员将确保避免出现人类的系统被误认，确保这些系统被清晰的标注为AI系统。

4.人工监督和监控

人工监督和监控AI系统对于确保这些系统的安全开发、部署和使用至关重要。由于部署的规模以及生成式AI系统的潜在用途和滥用的范围广泛，开发人员、部署人员和操作员需要特别注意，确保足够的人工监督和机制，以便识别和报告不利影响。

生成式AI系统的部署人员和操作员将在系统的部署和操作中提供人工监督，考虑部署的规模、系统可用的方式及其用户群体。

生成式AI系统的开发人员、部署人员和操作员将实施机制，以便在系统可用后识别和报告不利影响（如维护事件数据库），并承诺根据调查结果定期更新模型（如微调）。

5.有效性和稳健性

确保AI系统按预期工作，并在可能面临的各种环境中保持弹性，这对于建立信任至关重要。对于广泛部署的生成式AI系统来说，这是一个特殊的挑战，因为它们可能在广泛的环境中使用，因此可能更容易受到滥用和攻击。这种灵活性是该技术的一个关键优势，但需要采取严格的措施和测试，以避免滥用和意外后果。

生成式AI系统的开发人员将在一系列任务和语境中使用各种测试方法，包括对抗性测试（如红队），以衡量性能并识别漏洞。

生成式AI系统的开发人员、部署人员和操作员将采用适当的网络安全措施来防止或识别对系统的对抗性攻击（如数据中毒）。

6.问责制度

生成式AI系统是具有广泛而复杂的风险状况的强大工具。虽然，内部治理机制对于任何开发、部署或运营AI系统的组织都很重要，但需要特别注意生成式AI系统，以确保遵循全面的风险管理流程，并确保整个AI价值链的员工了解他们在这个过程中的角色。

生成式AI系统的开发人员、部署人员和操作员将确保多重防线以保证系统的安全。例如，确保在系统投入运行之前和之后对其系统进行内部和外部（独立）审计；制定政策、程序和培训，以确保明确定义角色和职责，并确保员工熟悉其职责和组织的风险管理实践。

资料来源 / Source of Information

https://ised-isde.canada.ca/site/ised/en/consultation-development-canadian-code-practice-generative-artificial-intelligence-systems/canadian-guardrails-generative-ai-code-practice

声明：本文来自苏州信息安全法学所，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。