2024年9月9日，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版（以下简称“《治理框架》”）。《治理框架》确定了人工智能的总体安全治理框架。按照“提出问题”到“解决问题”的逻辑：首先梳理人工智能技术本身及其在应用过程中面临的各种安全风险；之后针对前述安全风险点提出解决方案；最后还针对模型算法研发者、AI服务提供者、重点领域用户和社会公众用户给出了开发应用人工智能技术的若干安全指导规范。本文以《治理框架》为基础，进一步用尽量简单易懂的例子解读风险和应对措施，以飨读者。
本文主要围绕人工智能数据安全风险和应对措施展开讨论。
《治理框架》提到四种数据风险:违规收集使用数据风险、训练数据含不当内容、被“投毒”风险、训练数据标注不规范风险和数据泄露风险。本文在上述四种风险的基础上增加风险类别，并进行归类，以方便读者理解。以下是每类风险的解读及其应对措施：
1. 数据隐私与合规风险
（1）违规收集使用数据风险。人工智能训练数据的获取，以及提供服务与用户交互过程中，存在未经同意收集、不当使用数据和个人信息的安全风险。
例如：未向用户充分披露收集和使用个人信息的目的，或者基于用户同意的A业务目的收集的个人信息，之后被用于模型训练，且模型训练和使用目的与A目的无关，或者超出用户的“隐私”期待。跨境数据传输风险。例如，一家中国公司将中国用户数据传输到美国进行AI模型训练，数据跨境传输未通过监管安全评估或者未进行标准合同备案，则违反数据合规法律要求。
应对措施：在训练数据和用户交互数据的收集、存储、使用、加工、传输、提供、公开、删除等各环节，应遵循数据收集使用、个人信息处理的安全规则，严格落实关于用户控制权、知情权、选择权等法律法规明确的合法权益。例如，根据需要更新隐私通知，或者重新取得用户的同意。
向境外提供人工智能服务，应符合数据跨境管理规定。向境外提供人工智能模型算法，应符合出口管制要求。确保数据跨境传输符合所在国家或地区的法规要求。使用数据分区策略或本地化处理，将数据处理限制在特定的地理区域内。
更多关于数据合规原则的实现，可以阅读：生成式AI 场景下数据最小化和目的限制原则如何实现？
（2）数据泄露风险：人工智能研发应用过程中，因数据处理不当、非授权访问、恶意攻击、诱导交互等问题，可能导致数据和个人信息泄露。
非法访问的风险，例如，某公司在训练AI模型时使用个人信息且未加密，导致个人信息在传输过程中被黑客拦截并泄露。再者，某医疗机构的AI系统由于未加密的云端存储，导致患者数据被外部黑客窃取。
应对措施：对个人信息进行加密，尤其是在传输和存储过程中。同时，采用强密码和多因素身份验证以确保只有授权人员可以访问数据。定期进行安全审计，检测系统中的安全漏洞。
另外，通过恶意攻击造成隐私泄露风险风险，或者数据去标示化不充分的风险。例如：某AI模型通过用户的行为数据训练，虽然数据已经去标识化，但通过对模型的输出进行分析，攻击者可以推断出特定用户的信息。
可以采取的措施：可以使用差分隐私技术，在模型训练时加入噪声，防止从模型结果中反推个人数据。或者采取其他技术手段确保即使在数据被组合时，个人也无法被重新识别。另外不要忘了定期评估模型的隐私泄露风险。
2. 数据完整性风险
（1）训练数据含不当内容、被“投毒”风险。训练数据中含有虚假、偏见、侵犯知识产权等违法有害信息，或者来源缺乏多样性，导致输出违法的、不良的、偏激的等有害信息内容。训练数据还面临攻击者篡改、注入错误、误导数据的“投毒”风险，“污染”模型的概率分布，进而造成准确性、可信度下降。
例如，假设训练一个聊天机器人，并使用社交媒体上的公开评论作为训练数据。如果这些评论包含仇恨言论、歧视性语言或其他有害内容，聊天机器人可能会学习并模仿这些不当言论，从而在用户交互中产生偏见或负面的回应。
训练数据也可以导致偏见结果。例如：某银行使用AI模型评估贷款申请，但由于训练数据中的历史偏见，导致某些群体的通过率显著低于其他群体。
应对措施：
数据清理：在使用数据之前，使用自然语言处理技术来过滤掉包含不当语言或有害内容的评论。例如，使用敏感词检测或情感分析工具。
人工审查：针对高风险的数据源采用人工审查，例如标记或自动检测到有毒数据或者侵犯他人知识产权时。
偏见检测和纠正：定期检查模型的输出是否存在不当的内容，并使用偏见校正技术纠正模型中的潜在问题。
模型训练阶段进行数据偏差检测和调整，确保数据集的公平性。此外，使用公平性审计工具定期检查模型输出，避免决策中的系统性偏见。
（2）训练数据标注不规范风险。训练数据标注过程中，存在因标注规则不完备、标注人员能力不够、标注错误等问题，不仅会影响模型算法准确度、可靠性、有效性，还可能导致训练偏差、偏见歧视放大、泛化能力不足或输出错误。
例如：训练一个识别动物的模型，数据集包括了各种动物的图片。然而，不同标注员对同一类型的动物标注不一致，比如有的标注员把猫标注为"猫"，而有的标注员标注为“小猫”，甚至有的可能把猫和狗混淆。
应对标注不规范的措施主要包括：
制定明确的标注指南：确保所有标注员都理解并遵守统一的规则。例如，明确每种动物应该如何标注。
多标注员交叉验证：通过多标注员对同一数据进行标注，发现不一致之处并及时纠正。
一致性检查：使用自动化工具检查标注是否一致。例如，统计每个类别的标注是否有过多的变异，及时修正不规范的标注。
自动化检查和辅助工具：利用自动化工具进行标注质量检查，并为标注员提供标注辅助工具，减少人为错误。
《治理框架》给出的风险应对建议：
加强知识产权保护，在训练数据选择、结果输出等环节防止侵犯知识产权。
对训练数据进行严格筛选，确保不包含核生化导武器等高危领域敏感数据。
训练数据中如包含敏感个人信息和重要数据，应加强数据安全管理，符合数据安全和个人信息保护相关标准规范。
使用真实、准确、客观、多样且来源合法的训练数据，及时过滤失效、错误、偏见数据。
通过这些具体的例子和解决方案，可以更好地理解每个风险的实际应用场景，并采取相应的预防和缓解措施。欢迎各位读者留言补充。（张晓丽）
声明：本文来自数据合规与治理，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
