联合国《儿童权利公约》（The United Nations Convention on the Rights of the Child，简称“UNCRC”）和《欧洲联盟基本权利宪章》（the Charter of Fundamental Rights of the European Union，以下简称“宪章”）第24（2）条将保护和照顾儿童的最大利益和福祉作为权利载入其中。2021年，联合国儿童权利委员会（the United Nations Committee on the Rights of the Child）强调，这些权利必须在数字环境中得到同样的保护，无论是离线还是在线，保护儿童都是优先事项。尽管欧盟2011年通过的《儿童性虐待指令》（the Child Sexual Abuse Directive）将对儿童的性虐待和性剥削以及儿童性虐待材料（Child Sexual Abuse Materials，以下简称“CSAM”）在整个欧盟定为犯罪，但很明显，线上保护是一个特别的挑战。随着数字世界的发展，儿童性虐待图像和视频的流传急剧增加，使受害者遭受的伤害长期存在，而犯罪者也通过这些服务找到了接触和剥削儿童的新途径，因此对CSAM进行检测和报告是防止其生产和传播的必要条件，也是识别和帮助其受害者的重要手段。
早在2020年7月24日，欧盟委员会（the European Commission）通过了《欧盟更有效打击儿童性虐待战略》（the EU Strategy for a More Effective Fight Against Child Sexual Abuse），通过改善预防、调查和对受害者的援助，对线下和线上日益严重的儿童性虐待、性剥削威胁做出了全面回应。使欧盟国家能够通过预防更好地保护儿童，激励行业努力确保儿童在使用其提供的服务时得到保护。2021年3月24日，欧盟委员会通过了全面的《欧盟儿童权利战略》（EU Strategy on the Rights of the Child），其中提出了强化措施，以保护儿童免受一切形式的暴力，包括网上虐待。此外，它鼓励各公司继续努力检测、报告和删除其平台和服务中的非法在线内容，包括在线儿童性虐待、性剥削。拟议的《欧洲数字权利和数字十年原则宣言》（The proposed European Declaration on Digital Rights and Principles for the Digital Decade），还包括一项承诺，即保护所有儿童免受非法内容、剥削、操纵和在线虐待，并防止数字空间被用于实施或协助犯罪。在这种情况下，托管和通信服务的提供者发挥着特别重要的作用。其负责任和勤奋的行为对于一个安全、可预测和可信赖的在线环境以及行使《宪章》所保障的基本权利至关重要。
目前，某些提供者已自愿使用技术来检测、报告和删除其服务中的在线儿童性虐待、性剥削相关信息。然而，提供者采取的措施差别很大，绝大多数报告来自少数提供者，相当多的提供者没有采取任何行动。并且，尽管某些提供者做出了重要贡献，但事实证明，自愿行动不足以解决为性虐待、性剥削儿童的目的滥用在线服务的问题。因此，一些成员国已经开始准备并通过国家规则来打击网上儿童性虐待、性剥削，这导致了不同的国家要求的发展，反过来又导致了数字单一服务市场的分裂。
在此背景下，欧盟建立了关于检测、报告和清除在线儿童性虐待、性剥削的统一联盟规则，采取“聊天控制”的方式，消除数字单一市场的现有障碍，并考虑到需要保障儿童获得照顾和保护其福祉、精神健康和最大利益的基本权利，支持有效预防、调查和起诉儿童性虐待、性剥削严重犯罪的普遍公共利益。本期简报对提案内容及相关评述报告进行了整理，形成了以下内容，以飨读者。
一、欧洲“聊天控制”相关政策制度演进
2020年7月27日，欧盟委员会公布了一份关于欧盟更有效打击CSAM战略的通讯，允许搜索所有私人聊天记录、信息和电子邮件，查找对未成年人的非法描述。这允许Facebook Messenger等提供者扫描每条信息，以发现可疑的文本和图像，目前，Gmail和Outlook.com等美国的服务提供者，已经在进行自动的聊天控制。从运行上看，其是一个完全自动化的过程，部分使用了存在出错可能性的“人工智能”，如果一个算法认为一条信息是可疑的，它的内容和元数据就会被披露（通常是自动的，不需要人工验证）给一个设在美国的私人组织，并从那里传递给全世界的国家警察，同时被披露的用户不会收到通知。
2021年7月6日，欧洲议会通过了允许聊天控制的立法，责成所有聊天、消息和电子邮件服务提供商部署这种大规模监控技术。
2022年5月11日，欧盟委员会提出了第二个立法提案（Commission proposal on mandatory messaging and chat control，以下简称“欧洲聊天控制法案”），与苹果公司极具争议的“SpyPhone”计划类似，委员会希望责成所有电子邮件、聊天和信息服务的提供者以完全自动化的方式搜索可疑信息，并将与打击“儿童色情”相关的内容转发给警方。接下来，欧洲议会和欧盟理事会将继续讨论修正案，审议工作可能在2022年底前完成。
二、欧洲聊天控制法案的主要内容
1．谁拥有部署聊天控制装置的权力？
托管和通信服务提供者（以下简称“提供者”）所在国的主管部门有义务下令部署聊天控制装置，但是在何时及何种程度命令进行聊天控制没有自由裁量权。
2．聊天控制包括哪些方式？
（1）聊天控制
若服务有可能被用于非法材料或诱导儿童，则有义务全面搜索个人通信内容和存储数据。
受影响的托管和通信服务包括电话、电子邮件、信使、聊天（包括游戏、约会等）、视频会议（即，文本、图像、视频和语音都可以被扫描）；
端到端加密（E2EE）通信服务未被排除在范围之外，端到端加密通信服务的提供者必须扫描每部智能手机上的信息（客户端扫描），如果发现可疑信息/文件，需要向警方报告；
自动搜索已知的儿童性剥削材料（Child Sexual Exploitation Materials，以下简称“CSEM”）图像和视频，如果发现可疑信息/文件，允许提供者将自动命中报告传递给警方，不需要人工检查；（注：该提案使用了机器学习即AI的实验程序进行搜索，公众和科学界无法获得这些算法，提案中也没有任何披露要求。AI的错误率不详，且不受条例草案的限制。下同）
自动搜索未知的CSEM图片和视频，如果发现可疑信息/文件，允许提供者将自动命中报告传递给警方，不需要人工检查；
搜索可能的儿童诱导行为，如果发现可疑信息/文件，允许提供者将自动命中报告传递给警方，不需要人工检查。
（2）年龄验证
通信和存储应用程序的强制性年龄验证，例如可能被滥用于诱导儿童的通信服务必须核实其用户的年龄；（在实践中，年龄验证涉及全面的用户识别，即意味着通过电子邮件、信使等的匿名通信将被有效禁止）
应用程序商店必须核实其用户的年龄，排除未成年人安装许多应用程序，例如阻止儿童/年轻人安装可能被滥用于招揽生意的应用程序。（即，所有通信服务，例如信使应用程序、约会应用程序或游戏等，都可能被滥用于诱导儿童，并将被阻止儿童/年轻人使用）
（3）网络阻断
可以责成互联网接入商通过网络阻断（URL阻断）的方式，阻断对欧盟以外的被禁止和不可移除的图像和视频的访问。（但需注意的是，网络封锁在技术上是无效的，且易被规避）
3．聊天控制的范围是什么？
每个服务都可能被用于非法目的，因此所有服务都必须部署聊天控制装备。
三、欧盟聊天控制提案之肯定意见
1．与政策领域内现有政策规定一致
（1）提案兑现了《欧盟更有效打击儿童性虐待战略》中的承诺，特别是提出了有效解决网上儿童性虐待问题的方法，包括要求提供者检测已知的CSAM，并努力创建一个欧洲预防和打击儿童性虐待中心（the European Centre to prevent and counter child sexual abuse）等。
（2）提案通过引入提供者检测、报告、阻止和删除其服务中的CSAM的义务，能够改进对儿童性虐待指令下的犯罪行为的检测、调查和起诉。提案补充了新的“为儿童创造更好的互联网的欧洲战略”（the new European Strategy for a Better Internet for Children），该战略旨在为儿童创造安全的数字体验，并促进数字赋权。
（3）该提案还有助于实现若干国际法文书中规定的目标。与此相关的是欧洲委员会的《保护儿童免受性剥削和性虐待的兰萨罗特公约》（Lanzarote Convention on the Protection of Children against Sexual Exploitation and Sexual Abuse），欧洲委员会的《布达佩斯网络犯罪公约》（Budapest Convention on Cybercrime），该公约规定了有关援助受害者和干预方案的最低要求，要求各缔约方确定与CSAM有关的某些刑事犯罪。
2．与其他联盟政策连贯
（1）提案建立在《通用数据保护条例》（General Data Protection Regulation，以下简称“GDPR”）的基础上。在实践中，提供者倾向于援引GDPR中规定的各种理由来处理自愿检测和报告在线儿童性虐待的固有个人数据。该提案规定了一个有针对性的检测系统，并规定了检测的条件，为这些活动提供了更高的法律确定性。
（2）提案特别涵盖了托管和通信服务的提供者，因此要遵守执行《电子隐私指令》（the e-Privacy Directive）的国家规定，及其目前正在谈判的修订提案。提案中提出的措施在某些方面限制了该指令相关条款规定的权利和义务的范围，即与执行侦查命令绝对必要的活动有关。在这方面，该提案涉及该指令第15（1）条的类比适用。
（3）提案还与《电子商务指令》（the e-Commerce Directive）和《数字服务法》（Digital Services Act，以下简称“DSA”）提案相一致，共同立法者之间最近就该提案达成了临时政治协议。特别是，该提案为打击网上进行的特定形式的非法活动和非法内容的交流作出了具体要求，同时还规定了一系列保障措施。通过这种方式，它将补充DSA所规定的一般框架，并且特别针对有风险的提供者规定了义务范围，并制定了一套明确和谨慎平衡的规则和保障措施，包括明确定义所追求的目标、相关材料和活动的类型、相关义务的范围和性质、关于补救的规则等，还包括促进和支持实施的有力措施，从而减少服务提供商的负担。
（4）在实现其主要目标的过程中，该提案还帮助受害者。与《受害者权利指令》（the Victims’ Rights Directive）相一致，是改善受害者获得其权利的横向工具。
四、欧盟聊天控制提案之否定意见
2021年3月进行的一项代表性调查清楚地表明，大多数欧洲人反对使用聊天控制。反对者认为：
1．大规模监控是打击“儿童色情制品”和性虐待、性剥削的错误方法
（1）扫描私人信息和聊天记录并不能遏制CSEM的传播。例如，Facebook已经实行了多年的聊天控制，自动报告的数量每年都在增加，最近一次是在2021年达到2200万，但CSEM仍在传播。
（2）强制性聊天控制不会发现那些记录和分享CSEM的犯罪者。虐待者、剥削者不会通过商业电子邮件、信使或聊天服务分享他们的材料，而是通过没有控制算法的自营秘密论坛。且其通常还以加密档案的形式上传图片和视频，只分享链接和密码，而聊天控制算法不能识别加密的档案或链接。
（3）正确的做法是在网上托管的地方删除存储的CSEM。然而，欧洲刑警组织并没有报告已知的CSEM。
（4）聊天控制损害了对虐待儿童行为的起诉，因为调查人员会被淹没在数以百万计的自动报告中，其中大部分与犯罪无关。
2．信息和聊天控制伤害了所有人
（1）所有公民都可能因没有理由地怀疑入罪。根据瑞士联邦警察，90%的机器报告的内容并不违法，如假日照片显示裸体儿童在海滩玩耍。
（2）不需法官下令监控，文字和照片过滤器也会无一例外地监控所有信息，这与保障通信隐私和书面通信的保密性相悖。根据欧洲法院的判决，对私人通信的永久性和一般性自动分析违反了基本权利。
（3）私人电子通信的保密性正在被牺牲。使用信使、聊天和电子邮件服务的用户其私人信息有可能被阅读和分析。敏感的照片、视频和文本内容等可能被扩散到全世界，并可能落入心思不纯之人手中。据报道，国家安全局工作人员过去曾传阅过女性和男性公民的裸体照片，一名谷歌工程师曾跟踪过未成年人。
（4）安全加密的通信处于危险之中。到目前为止，加密信息不能被算法搜索到，要改变这种情况，需要在信息传递软件中建立后门（Backdoor），一旦发生这种情况，后门导致的安全漏洞就会被任何拥有该技术手段的人利用，如被外国情报机构和犯罪分子利用，这时商业机密和敏感的政府信息将被暴露。
（5）刑事司法正在被私有化。刑事犯罪的调查是法院监督下的独立法官和公务员的职责，但该提案中未对所使用的算法提出任何透明度要求。未来，Facebook、谷歌和微软等公司的算法将决定用户是否会是嫌疑人。
（6）不分青红皂白地聊天控制创造了一个先例，为更多的侵入性技术和立法打开了闸门。部署针对所有在线通信的自动监测技术具有危险性，很容易在未来被用于其他目的，如侵犯版权、滥用药物等。
3．信息传递和聊天控制伤害了儿童和性虐待、性剥削受害者
（1）受害者的安全空间被破坏。性暴力的受害者特别需要安全和保密，以寻求咨询和支持，如彼此之间、与治疗师或律师的沟通交流。而大规模实时监控地引入使这些安全空间离他们远去，可能会使受害者不愿意寻求帮助和支持。
（2）未成年人的安全不足以得到保障。年轻人经常互相分享亲密的照片、视频和录音（色情短信），而随着消息和聊天控制的精准定位，他们的照片和视频可能最终落入公司员工和调查人员手中，不足以保障未成年人的安全。
（3）不分青红皂白地聊天控制并不能遏制非法材料的流通，实际上会使起诉儿童性虐待、性剥削更加困难。它鼓励犯罪者转入地下，使用私人加密服务器，这可能是无法发现和拦截的。即使在公开渠道上，禁止滥发信息和聊天控制也不能遏制材料的流通量，不断上升的机器报告数量就是证明。（完）
免责声明：本译文仅代表作者本人观点，不代表所在单位。译文仅供研究使用。
声明：本文来自苏州信息安全法学所，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
