新加坡于近期发布了关于如何将个人数据合理用于训练人工智能模型和系统的指南草案,即《关于在人工智能推荐和决策系统中使用个人数据的咨询指南》(以下简称《指南》)。在《个人数据保护法案》(Personal Data Protection Act,以下简称PDPA)规定的基础上,《指南》的重点是明确PDPA如何适用于企业收集和使用个人数据,以开发和部署嵌入机器学习模型(以下简称“ML模型”)的人工智能系统(以下简称“AI系统”),从而用于自主决策或通过建议和预测协助人类决策者。
一、《指南》文件的定位
(一)目的宗旨
新加坡于2012年通过了PDPA,对各企业收集、使用和披露个人数据的行为进行了规范。PDPA既承认个人保护其个人数据的权利,又承认企业在理性情况和合理目的下收集、使用和披露个人数据的必要性。因此,在人工智能系统设计、部署中收集和使用数据的行为应当受到PDPA的规制。
在人工智能系统的开发、训练和测试中,通常需要个人数据,以便ML模型能够从这些数据中做出推断,并在部署后对人工智能系统进行监测,以确保它们继续发挥应有的作用。由于PDPA是基于广泛的立法,它适用于一个企业对个人数据的所有收集和使用行为,即包括收集、处理个人数据以开发、测试和监控AI系统,以及后续扩展到人工智能系统收集和使用个人数据进行部署的整体进程。
针对PDPA管辖的人工智能开发、测试、部署等特殊应用场景,《指南》主要关注AI系统的设计和部署中涉及个人数据使用的情况,旨在明确当企业使用个人数据开发和培训人工智能系统时PDPA的具体适用,并为企业提供基准指导和最佳实践,以使其AI系统是否以及如何使用个人数据进行建议、预测或决策的情况透明化。
(二)适用效力
《指南》与个人数据保护委员会(以下简称PDPC)所出台的《关于PDPA中关键概念的咨询指南》(Advisory Guidelines on Key Concepts in the PDPA1)、《关于特定主题的咨询指南》(Advisory Guidelines on the Personal Data Protection Act for Selected Topics2)等文件构成针对PDPA的实用性指导。这些指南在性质上是咨询性质的,对PDPC或其他任何一方不具有法律约束力,不构成法律建议。《指南》既不修改也不以任何方式补充所援引的任何法律的法律效力和解释,包括但不限于PDPA和根据PDPA颁布的任何附属立法。如果出现任何不一致的情况,PDPA和任何附属立法的规定将优先于《指南》本身。与此同时,《指南》及其同类的指导方针文件不对PDPC的管理和执行进行限制。
(三)关键概念
《指南》在人工智能场景中应用所提及的关键概念包括同意义务、通知义务、业务改进例外、研究例外。
同意义务基于PDPA第13条3的内容确立,是PDPC在其发布的《指南》中确立的数据保护义务之一,即如果个人同意收集、使用或披露其个人数据,则允许企业收集、使用或披露其个人数据。这种征得个人同意的义务称为同意义务。在人工智能开发、测试和监测场景中,企业需在履行同意义务后才能使用个人数据进行人工智能系统的培训和测试,以及在部署后监测人工智能系统的性能。
通知义务基于PDPA第20条4的内容确立,是指企业在收集个人数据之时或之前,应当向个人告知其收集、使用和披露其个人数据的目的。企业必须通过制定适当的政策和程序来确定其收集、使用或披露个人数据的目的,使得能够确定企业为商业目的需要收集、使用和披露哪些个人数据,并确保收集的个人数据与企业目的相一致。这也将最大限度地降低企业在开发、部署和适配人工智能场景中,由于对个人数据的收集和处理而违反PDPA的风险。
在业务改进例外和研究例外的情形下,企业可以在未经同意和告知的情况下使用根据PDPA的数据保护规定收集的个人资料,只要该个人数据的使用属于业务改进目的和研究目的的范围。
业务改进例外包括改进、增强或开发新的产品、服务或是操作方法、流程,学习或理解个人在提供商品和服务方面的行为和偏好,识别可能适合个人的商品或服务,或为个人个性化定制此类商品或服务等情形。业务改进例外既适用于企业集团内部与相关企业的共享,也适用于企业内部跨部门的数据共享。
研究例外情形下,为科学发展进行研究的商业实验室、从事艺术和社会科学研究的高等院校以及进行市场调查的企业都可以依据研究目的例外对个人数据进行使用和处理。业务改进例外适用于企业已经开发了产品或拥有正在增强现有产品的功能时,人工智能系统可以借助这一例外通过支持决策来提高运行效率,或通过向用户提供推荐等方式提供更多或新的个性化产品或服务。这也适用于一组公司内的数据共享。研究例外旨在允许企业进行更广泛的研究和开发,而这些研究和开发可能不会立即应用于其产品、服务、商业运营或市场,包括在不相关的公司之间共享数据,以便共同进行商业研究,从而开发新的人工智能系统。这两类例外情形主要应用于人工智能开发、测试和监测场景,为人工智能在投入应用前完成必要的数据准备。
二、人工智能场景下的数据保护建议
(一)面向开发、测试和监测场景
在AI系统开发、测试和监测中使用个人数据,企业最主要依赖的就是业务改进例外和研究例外。
1、业务改进例外
PDPA在附表中规定5,企业需要确保适用业务改进例外的必要性和合理性。因此,《指南》建议企业在是否依赖业务改进例外来证明个人数据用于人工智能系统开发、测试和监控的合理性时,应当考虑到有效性、效益性、合规性和市场性。
2、研究例外
PDPA在附表中规定6,企业需要确保适用研究例外时,个人数据的提供具有必要性、合理性、公益性,并且研究结果不会被用于做出任何影响个体的决策,在公布研究结果时也要保证匿名化。
3、最小数据规模
在发展人工智能系统的背景下,企业应将数据最小化作为实践标准,仅使用包含需要训练和改进AI系统或ML模型的属性的个人数据,减少对AI系统不必要的数据和网络风险。为了减少类似风险,企业应基于市场波动和客户属性等要素进行筛选,使用训练AI系统或ML模型所必需的个人数据量。《指南》指出,在使用个人数据设计、培训、测试或监控人工智能系统时,应包括适当的数据保护技术、过程和法律控制。在可能的情况下,PDPC鼓励企业对作为基本数据保护控制的个人数据进行佚名化或去身份化。
此外,根据PDPA7规定的问责程序,企业必须确保其使用个人数据开发人工智能系统的政策不断更新且被遵守。例如,制定有关何时使用匿名或假名数据进行模型训练的政策,以及何时允许使用可识别的个人数据。
(二)面向部署人工智能场景
当企业部署AI系统通过收集或处理个人数据来提供新功能或增强产品功能时,《指南》建议其注意PDPA所规定的同意义务、通知义务以及问责程序。
当人工智能系统部署到终端用户时,个人数据可能会被人工智能系统收集和/或处理,以提供推荐、预测或决策,除非存在被视为同意或同意义务的例外情形(例如业务改进例外)。同意义务与通知义务相辅相成,要求企业在征得用户同意进行收集和使用时,通知用户收集和使用其个人数据的目的和意图。同意和通知义务的目的是使个人能够提供有意义的同意。要做到这一点,企业应该换位思考,使个人能够了解他们的个人数据将如何处理,以达到预期的目的。这些通知不必过于专业和细致,而应与具体情况中存在的风险成比例(例如,考虑到对个人的潜在危害和AI系统的自治水平)。应提供足够的信息,使个人能够了解他们的个人数据将如何处理,以达到预期的目的。
关于问责程序的建立,《指南》指出,成文的政策和过程文件能够表明企业内部治理和监督结构以及操作实践的规范性,同时确保个人数据被负责任地使用。使用人工智能系统的企业问责机制应该是透明的,并包括相关的实践和保障措施。此外,问责机制的完善还包括前述通知义务中信息的提供,应当有更多关于人工智能系统开发过程中数据质量和治理措施的信息,在不损害安全、安保或商业机密时向消费者公开,以彰显其书面政策的公平合理8。
(三)面向采购人工智能场景
这一场景的应用主体是从事服务提供商(例如AI系统集成商)的企业,这些服务提供商为开发和部署定制或完全定制的AI系统提供专业服务。
服务提供商作为开发和部署定制或完全定制的人工智能系统的一部分,代表其客户处理个人数据时,他们作为数据中介受到PDPA的规制9。因此,服务提供商在预处理阶段,应当使用数据映射和标签等技术来跟踪用于形成训练数据集的数据,同时保持一个起源记录,记录训练数据的谱系,以确定训练数据的来源,并跟踪它在数据准备过程中的转换。
由于一些企业用户可能会依赖服务提供商的技术专长来满足自己在PDPA项下的义务,服务提供商可能被要求就企业为其消费者制定的政策文件中信息的充分性和准确性提供技术澄清或咨询。《指南》建议,服务提供商作为供给侧企业,首先要根据用户的需求和影响,了解用户可能需要的信息,进而设计合理的系统,确保能够获取相关信息,为用户机构内部使用提供信息,并且支持AI系统的实施者理解所获得的AI系统。
虽然服务提供者可以支持企业实现其同意和通知义务以及问责程序的建立,但PDPC强调,企业负有确保其选择使用的人工智能系统能够满足其在PDPA下义务的首要责任。
三、新加坡人工智能治理体系
(一)标准化与问责制互动指导
新加坡在人工智能和个人数据治理方面处于国际领先地位,并且积极发展标准化框架和问责制机制以引导人工智能技术对个人数据的负责任使用和发展。
在人工智能应用场景中,如何平衡数据的可用性与安全性是新加坡出台和实施个人数据监管方案的重点。以PDPC为代表,新加坡基于PDPA发布了若干实践准则与评估指南,为涉及人工智能和个人数据业务的企业提供数据透明化操作的示范性实例和可行性标准。2019年1月,新加坡PDPC与信息媒体发展局(Infocomm Media Development Authority,以下简称 IMDA)正式提出《人工智能治理框架建议模型》(A Proposed Model Artificial Intelligence Governance Framework,以下简称《模型》),以帮助企业解决因跨行业使用人工智能技术带来的道德以及管理方面的问题。该文件所述人工智能模型框架主要侧重于四个领域:内部治理,决策模型,运营管理和客户关系管理。《指南》建议企业参考《模型》进一步提出管理利益相关者互动的建议;《组织实施和自我评估指南》(Implementation and Self-Assessment Guide for Organizations)文件中,也在第5节提供了关于利益相关方互动的指导性问题和实例。
在体系化标准的基础上,PDPC和IMDA于2022年5月25日共同推出了全球首个官方发布的人工智能治理测试框架和工具包AI Verify,作为技术工具来验证AI系统或ML模型的性能,帮助企业在遵守相关标准的同时完善自身问责程序的建立。测试报告中的信息可以用来支持他们希望包含在他们的通知或书面策略中的信息,从而帮助企业按照各类官方指南的建议和良好实践履行问责义务,建立企业与利益相关者,并促进与合作伙伴和行业建立可信赖人工智能的互操作性,同时也是为人工智能国际标准的制定做出贡献10。
(二)政企多元主体联合共治
新加坡在人工智能(AI)领域采取了一种包容性的协同治理方法,强调多元主体协作,以自上而下和自下而上的方式确保政府、企业和公众在AI和数据治理中有分配的角色和责任。这种模式有助于新加坡在保护消费者权益的同时,推进AI技术的伦理利用,确保技术的发展与社会价值观相协调。为使得所推行的人工智能治理体系更具包容性,新加坡政府推动企业、学术机构、社会组织等共同参与制定人工智能道德标准和治理框架。
在策略上,新加坡主张政府主导下,通过PDPC和其他监管机构主导AI治理政策的制定和实施。政府的作用是确保制定出既能促进技术创新,又能保护个人隐私权的法规和框架;同时政府积极鼓励和促进私营企业在遵守PDPA和AI治理框架的基础上发展AI技术,通过提供指南性文件和各类实践资源,激励企业在推进技术成果的同时,考虑到人工智能在个人数据利用中的伦理和责任。
这种共治模式还表现在对企业实施问责机制方面,即企业在AI和数据治理中的决策必须透明化并承担相关责任。如果企业违反相关的法规,可能会受到从罚款到业务活动限制等一系列PDPA规定的后果。因此,企业有责任跟随PDPC和相关机构发布的行业标准和最佳实践。这些实践经常更新,反映了最新的研究成果、技术发展以及社会和伦理考量。
新加坡政府还强调国际合作,与其他国家和国际组织合作,形成全球可持续数据治理的共识。2020年,新加坡与新西兰、智利、韩国等国家通过协定谈判的形式达成合作;2021 年 6 月,新加坡与英国启动数字经济协议谈判。作为新加坡重要经济合作伙伴,中国提出“一带一路”倡议后,新加坡与中国在人工智能领域的多方位合作也日益紧密11。通过加入国际讨论和标准制定,新加坡促进了国际规则和标准的共同进步。
(三)风险评估与伦理监管并进
新加坡AI个人数据治理的目标是创建一个既有利于技术创新,又确保个人隐私和社会利益得到保护的环境,兼顾风险决策及伦理监管。通过这种方式,新加坡旨在推进负责任且可信赖的AI技术的发展和应用。因此,新加坡的人工智能个人数据治理模式呈现出在风险决策和伦理保障方面力求平衡的特征。
《指南》在与PDPA限制性规定相关的部分,积极建议企业在使用个人数据时进行彻底的风险评估。这意味着企业需要预测和评估AI系统可能对数据隐私、安全性以及其他潜在影响,强调企业在利用个人数据开发、监测人工智能时保证透明度、可解释性、公平等价值观。这些原则不仅要求企业在技术开发和实施中评估相关的风险,同时也要遵循伦理上的最佳实践。
为了监管企业在AI和数据处理中的伦理行为,一些组织设立了内部或外部的伦理委员会。这些委员会负责审查和评估AI应用程序,确保它们的实现与政府的指导原则一致,能有力地解决道德和伦理问题。无论是从风险评估层面还是伦理监管层面,透明度和解释性都占有重要地位。政府和监管机构鼓励企业发展和采用那些能向用户清楚说明AI系统工作原理和决策过程的技术,因此书面政策中的披露程序和问责机制尤为重要。
政府通过PDPC和其他机构不断监控和检查数据管理实践,确保企业遵守规定。PDPC不仅执行PDPA,也提供关于如何在日常运营中采取风险基础的伦理决策的指导。此外,新加坡在制定伦理监管和风险决策策略时,密切关注国际标准和最佳实践。通过与国际机构合作,新加坡致力于形成全球一致的AI伦理和数据治理标准。
参考文献
[1] Advisory Guidelines on Key Concepts in the PDPA:https://www.pdpc.gov.sg/guidelines-and-consultation/2020/03/advisory-guidelines-on-key-concepts-in-the-personal-data-protection-act
[2] Advisory Guidelines on the Personal Data Protection Act for Selected Topics:https://www.pdpc.gov.sg/guidelines-and-consultation/2020/02/advisory-guidelines-on-the-personal-data-protection-act-for-selected-topics
[3] S.13 of the PDPA:https://sso.agc.gov.sg/Act/PDPA2012?ProvIds=P14-#pr13-。
[4] S.20 of the PDPA:https://sso.agc.gov.sg/Act/PDPA2012?ProvIds=P14-#pr20-。
[5] Part 5 of the First Schedule and Division 2 under Part 2 of the Second Schedule to the PDPA
[6] Division 3 under Part 2 of the Second Schedule to the PDPA
[7] S.12 (a)and (c) of the PDPA
[8] See RE HSBC [2021]SGPDPC 3 –where it was found that HSBC met its Accountability and Disclosure Obligations by providing information on how it has used personal data and AI technology to conduct credit facility assessments.
[9] Data intermediaries are subject to the protection obligation and retention obligation under S.24 of and S.25 of the PDPA respectively.
[10] 清华大学战略与安全研究中心:《“智慧国家”愿景及优势整合路径:新加坡人工智能发展战略》,载《人工智能与国际安全研究动态》2023年第4期。
[11] 同上注。
侯琬靖 | 清华大学智能法治研究院实习生
选题、指导 | 刘云
编辑 | 刘懿阳
注:本公众号原创文章的著作权均归属于清华大学智能法治研究院,需转载者请在本公众号后台留言或者发送申请至computational_law@tsinghua.edu.cn,申请需注明拟转载公众号/网站名称、主理者基本信息、拟转载的文章标题等基本信息。
声明:本文来自清华大学智能法治研究院,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。