欧盟委员会的人工智能高级专家组(High-Level Expert Group on Artificial Intelligence, AI HLEG)于2018年12月发布了《可信人工智能伦理指南草案》，该指南提出一个可信人工智能框架，强调伦理规范性和技术健壮性，并提出总计10项可信人工智能的要求和12项用于实现可信人工智能的技术和非技术性方法，同时设计出一套评估清单，便于企业和监管方进行对照。当前我国大力发展人工智能产业，长远来看，技术安全可靠且合乎人类社会伦理规范至关重要，因此该指南草案对我国制定相关准则具有一定的借鉴意义。同时，对于力图进入欧盟市场的国内人工智能企业而言，应密切关注欧盟的相关监管要求，并为此做好准备。
一、可信人工智能的伦理指南综述
2018年4月25日，欧盟委员会在制定了欧盟人工智能（AI）愿景，同时设立了AI高级专家组(High-Level Expert Group on Artificial Intelligence, AI HLEG)，目前该专家组共由52名专家组成。《可信AI的伦理指南草案》即由AI HLEG在2018年12月18日发布，目前处在公开征询阶段，预计正式版将于2019年3月发布。
欧盟《可信AI的伦理指南草案》主要分为三个章节（见图1）：第一章通过阐述应遵循的基本权利、原则和价值观，确定AI的伦理目标；第二章为实现可信AI提供指导，列举可信AI的要求，并概述可用于其实施的技术和非技术方法，同时兼顾伦理准则和技术健壮性；第三章提供了可信AI的评测清单。
图1：欧盟可信AI框架
二、欧盟AI伦理的五项原则及相关价值观
（1）福祉原则：“向善”
AI系统应该用于改善个人和集体福祉。AI系统通过创造繁荣、实现价值、达到财富的最大化以及可持续发展来为人类谋求福祉，因此，向善的AI系统可以通过寻求实现公平、包容、和平的社会，帮助提升公民的心理自决，平等分享经济、社会和政治机会，来促进福祉。
（2）不作恶原则：“无害”
AI系统不应该伤害人类。从设计开始，AI系统应该保护人类在社会和工作中的尊严、诚信、自由、隐私和安全。AI的危害主要源于对个体数据的处理（即如何收集、储存、使用数据等）所带来的歧视、操纵或负面分析，以及AI系统意识形态化和开发时的算法决定论。为增强AI系统的实用性，要考虑包容性和多样性。环境友好型AI也是“无害”原则的一部分。
（3）自治原则：“保护人类能动性”
AI发展中的人类自治意味着人类不从属于AI系统也不应受到AI系统的胁迫。人类与AI系统互动时必须保持充分有效的自我决定权。如果一个人是AI系统的消费者或用户，则需要有权决定是否受制于直接或间接的AI决策，有权了解与AI系统直接或间接的交互，并有权选择退出。
（4）公正原则：“确保公平”
开发人员和实施者需要确保不让特定个人或少数群体遭受偏见、侮辱和歧视。此外，AI产生的积极和消极因素应该均匀分布，避免将弱势人口置于更为不利的地位。公正还意味着AI系统必须在发生危害时为用户提供有效补救，或者在数据不再符合个人或集体偏好时，提供有效的补救措施。最后，公正原则还要求开发或实施AI的人遵守高标准的追责制。
（5）可解释性原则：“透明运行”
在伦理层面，存在技术和商业模式这两类透明性，技术透明指对于不同理解力和专业知识水平的人而言，AI系统都可审计和可理解；商业模式透明指人们可以获知AI系统开发者和技术实施者的意图。
三、实施AI系统的潜在问题
（1）数据主体权利保护问题
AI可让公共或私人实体更有效地识别出特定个人。为了维护欧洲公民的自主权，需要在AI中合理使用监控技术。实现可信AI应当区别个体识别与个体跟踪之间的差异，以及有针对性的监视和普遍监视之间的差异，这点可以参照“一般数据保护条例”（GDPR）第6条（该条规定，只有具有有效的法律依据，数据处理才合法）。
（2）隐蔽AI系统问题
人们应当知道其交互对象是人还是机器， AI开发和部署人员有责任并且需要可靠地实现这一点。AI开发和部署人员应确保人们可了解或通过请求并验证他们正在与AI进行交互。人与机器之间的边界模糊会带来如依附、影响或降低生而为人所应具有人生价值之类的恶果，因此发展人形机器人更应经过仔细的伦理评估。
（3）偏离人类基本权利、未经同意的带有普遍性针对公民进行标准化评价问题
欧盟注重公民的自由和自治，大规模的规范性公民评价（如“道德人格”或“伦理完整性”等）可能危及这些价值观，尤其是使用时背离人类基本权利，使用不合适、目标不明确或者传导偏差的情况下，更是如此。当在有限的社会领域实行公民评价时，人们应该获知完全透明的程序，并知晓有关评分过程、目的和方法的信息，还可选择退出评分机制。
（4）致命性自主武器系统（LAWS）问题
LAWS可在没有人为控制的情况下运行，但最终人类必须对所有伤亡负责。目前，众多国家和行业正在研究和开发致命自主武器系统，包括能够自主选择攻击的导弹、具有认知能力的自主杀人机器等，这都带来了基本的伦理问题。
（5）其它潜在的长期问题
当前所有的AI均是针对特定领域的，但随着技术的发展，可能出现机器觉醒、或者实现自我改善的通用AI（AGI）等。虽然有些问题目前看来似乎还很遥远，但需要及早关注并投入资源，尽量减少对长期风险、未知数和“黑天鹅”认识的不确定性。
四、如何实现可信AI
报告提供了关于如何实施和实现可信AI的相对完整的指南，并提出了实现可信AI的10项基本要求，以及实现这些要求的方法。
（一）可信AI的基本要求解释
可信AI是将一般性和抽象性的伦理准则融入到AI系统和具体应用中。AI HLEG共提出10项要求，并按字母顺序排列，这10项要求均同等重要。针对不同的应用领域和行业，应根据特定环境进行评估。
（1）可追责性
良好的AI管控应当包括可追责机制，根据目标不同选择也较多样化，如金钱补偿（无过失险）、缺陷调查、无赔偿的和解等。可追责机制的选择依据是行为的性质、重要性及自主性等级等。在AI歧视案例中，解释和道歉是必备的。
（2）数据治理
数据收集过程中将不可避免包含偏见，因此应进行删减。此外，必须确保对训练数据的仔细分类，以及验证和测试，还要将匿名化的数据划分为多个子集，保证某些数据（例如来自同一人的图谱数据）不会同时进入训练和测试环节。
（3）普惠性设计
系统的设计应面向所有公民提供产品或服务，无论其年龄、残疾状况或社会地位如何。AI应用程序不宜采用一刀切的方法，而应以用户为中心，并考虑人类的各种能力、技能和要求。
（4）AI自主性的管控
确保诸如安全性、准确性、适应性、隐私性、可解释性、遵守法治和符合伦理等属性的正确方法，在很大程度上取决于AI系统的具体细节、应用领域、对个人、社区或社会的影响程度，以及其自主性水平。根据AI系统的应用领域和对个人、社区或社会的影响程度的不同，需要实施不同水平的管控。
（5）非歧视
使用AI出现的直接或间接的歧视，可导致对特定群体的偏见和边缘化。控制算法的人可能会故意将某类群体排除在外。如，故意伤害可以通过明确操纵数据以排除某些群体来实现。伤害也可能来自于消费者偏见或不公平竞争，例如通过共谋或不透明市场手段造成价格同质化。
（6）尊重和强化人类自治
AI系统的设计不仅要维护权利、价值观和原则，还应保护公民的多样性，使其免受AI技术所带来的政府和私人侵权行为的影响。AI产品和服务，可能通过极端个性化、潜在操纵诱导个人选择。用于帮助用户的系统，必须为用户提供详细的支持，促进其自己的偏好，并设置限制防止系统干预，确保用户的福祉由其自己定义，这是系统功能设计的核心。
（7）隐私保护
隐私和数据保护必须在AI系统生命周期的各个阶段得到保证。这包括用户提供的所有数据，以及在与AI系统交互过程中生成的关于用户的所有信息。组织必须注意数据是如何使用并影响用户的，确保完全遵循GDPR和其他有关隐私和数据保护的可用法规。
（8）健壮性
可信AI要求算法安全、可靠且足够稳健，以便在AI系统的设计、开发、执行、部署和使用阶段处理错误或不一致，并且能够应对错误输出。技术健壮性一般体现在以下四个方面：可靠性和可重现；精确性；弹性；应急预案。
（9）安全性
安全性是指确保系统确实完成其应该做的事，而没有伤害到用户、资源或环境，包括使意外结果和系统行动错误最小化。应制定确认和评估与使用AI产品和服务相关的潜在风险的流程。此外，需要正式的机制来衡量和指导AI系统的适应性。
（10）透明性
透明性是指减少信息不对称。可解释性作为透明性的一种形式，需要能够描述、监督和重现AI系统做出决策和学习、适应环境的机制，以及系统使用和创立的数据的来源和动态变化。对于使用人类数据或影响人类或可能产生其他道德上重大影响的所有模型，应明确公开关于数据来源、开发过程和利益相关者的选择和决策。
（二）实现可信AI的技术和非技术方法
为使AI系统满足上述十项要求，AI HLEG提出了实现可信AI的主要途径，并指出可在开发流程的各个层次（分析、设计、研发和使用）采用5个技术性方法和7个非技术性方法，同时该流程也是动态和持续循环的，如图2所示。
图2：在系统的全生命周期实施可信AI
（1）技术性方法
这些方法可以融入到AI系统的设计、开发和使用阶段，一般需要定期跟踪和持续评估。
将伦理和法律纳入设计
将对法律和伦理价值观的遵守，至少在某种程度上，融入到AI系统本身的设计之中。这也要求企业有责任在最初就识别AI系统的伦理影响，以及该系统应当遵守的伦理规则和法律规则。
设立可信AI的架构
可通过建立规则来控制智能代理的行为，或者通过设立行为边界对其采取监控。一个能够积极学习和适应其行为的智能系统，可被理解成一个随机系统，通常用“感知-计划-行动”循环进行描述。为使此架构符合可信AI，伦理目标和要求应当被融入到“感知”层，从而可以形成遵守这些准则的计划。
测试和验证
为了验证一致性和数据的既定处理流程，应当仔细监测模型的稳定性、健壮性、运行结果的易理解性和可预测性。应当明确计划过程的输出结果与输入相一致，确保所采取的决策经验证是合理的。系统的测试和验证应当尽早，并且持续迭代，确保在整个生命周期特别是在部署之后，系统能以既定的行为方式运作。重要的是，测试应当不仅限于数据，还应包括系统的所有输入，以及整个系统的行为。
可追溯、可审计
为应对透明性和可解释性的挑战，AI系统应当记录其所作的决策和产生决策的整个流程，使决策可追溯。可追溯有助于可审计，可以推动实现监控和验证算法、数据和设计流程。
可解释性
为建立一个可信系统，有必要了解为什么该系统出现给定的行为、为什么该系统提供给定的解释。也有必要限制对抗性情境。截至目前，这些对于基于神经网络的AI系统仍然是开放式的挑战。在整个研究领域中，可解释的AI（XAI）正试图解决这一问题，以更好地理解背后的机制，并找到解决方案。
（2）非技术性方法
非技术性方法相对开放，并非强制性要求，但可确保实现可信AI。
监管
虽然如今已有较多规范性文件可提高AI的可信度，如安全立法或可信赖框架，但AI HLEG认为需要更新、适应或引进新的规则，这会在未来的第二版中进行增补。可信AI需要一个明确可追责的机制，该机制包括当AI造成伤害时的赔偿规则，以及是否故意及是否有错的认定机制，后续的和解、纠错、道歉等。
标准化
使用商定的设计、制造和商业标准可以作为AI的质量管理系统，为消费者、参与者和政府提供通过购买决策识别和奖励道德行为的能力。在公约标准之外，公共规范也同样可行，如认证体系、职业道德手册、符合基本权利的标准等。这类例子包括ISO标准、公平交易标准、或“欧洲制造”标签等。
责任落实
组织应当设定内部或外部的管理框架，确保可追责性，如：任命某人或内外部伦理委员会来负责AI相关的伦理问题，由该负责人或委员会对此类问题进行监督，并提供建议。
行为守则
组织和利益相关方可以通过签署指南、调整其公司章程中的责任、KPI、行为守则等来实现可信AI。
教育和培养伦理观念
既要确保AI潜在影响的知识普及，又要让人们意识到他们可以参与塑造社会发展。教育的对象包括系统制造商（设计者、开发者）、用户（公司、个人）以及其他有关团体。教育公众的先决条件是确保伦理学家拥有该领域的适当技能和培训。
多方沟通
需要设立开放式的讨论，让社会群体、利益相关方和普通公众等共同参与。许多组织已经依赖利益相关者委员会来讨论AI的使用和数据分析。这些委员会包括不同的专家和利益相关者，包括法律专家、技术专家、伦理学家、客户和员工代表等。
包容与多元
多样性和包容性是AI的基本特性。由于AI执行的任务种类繁多，因此设计、开发、测试和维护AI系统的团队，也应当反映用户、社会的总体多样性，这有助于提高系统客观性，兼顾不同视角、需求和目标。团队不仅应当在性别、文化、年龄方面是多样的，而且其职业背景和技能也应当是多元的。
（四）可信AI的评估
指南根据十项要求拟定了评估清单，以提醒负责人在评估时应考虑的事项。鉴于AI具有场景特定性，需要针对特定情况采取相适应的方法，因此清单适用性因实际用例不同而有所不同，可根据需要进行调整。评估过程是动态且循环迭代的过程，可用于AI流程中每个步骤的评估：从数据收集、初始设计阶段，到AI系统的开发、训练或运行，以及实际的部署和使用。
例如，关于“可追责性”要求的评估事项，包括：现有技能和知识是否能用于责任分担、是否成立AI伦理审查委员会、灰色地带的讨论机制、是否成立内部或外部专家小组等。
五、结语
欧盟的可信AI框架，强调自发的伦理约束、更关注对“人”的尊重和普遍参与、追求共同的福祉，并且便于理解和执行。这个框架的基础是伦理规范，即守护人类的基本权利、遵循道德准则和维护人类社会价值观，同时强调AI技术自身应具备健壮性和可靠性。该指南还提出可信AI的10项要求，以及技术性及非技术性共计12种实践途径和方法，还根据每类要求设计出评估清单，便于产业参与各方评估可信AI应用的达标情况，具有较强的操作性和适用性。
我国高度重视AI与其他产业的融合发展，从2016年起已陆续出台多项重要政策，如《“互联网+”AI三年行动实施方案》、《新一代AI发展规划》、《促进新一代AI产业发展三年行动计划(2018-2020年)》等，有力地推动了我国AI产业发展。但AI作为一项对人类社会未来发展影响深远的技术，也存在一定的安全风险，例如未来人类创造出来的超级智能是否会拥有超越人类的能力和意志，同时它们是否具有与人类相似的价值观和社会规范。因此应当未雨绸缪，及早布局和研究AI技术的安全性，确保技术的研究和应用符合人类社会的伦理规范。目前上海在2018世界人工智能大会中发布过关于AI安全的八项倡议，更早之前腾讯、科大讯飞等企业也发表过各自的AI倡议，但国家、产业尚未有统一的普遍共识，因此欧盟可信AI伦理指南可以提供有益的借鉴。另外我国部分AI企业也在积极开拓欧盟市场，因此这份指南是这类企业必须要关注的对象。
《可信人工智能伦理指南草案》原文：
https://ec.europa.eu/digital-single-market/en/news/draft-ethics-guidelines-trustworthy-ai
声明：本文来自赛博安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
