近期，图灵奖得主Yoshua Bengio等人发布了一篇名为《人工智能中的意识：意识科学的启示》的88页系统性论文，这篇论文由来自哲学、神经科学和人工智能领域的19位作者共同完成，深入探讨了当前主流的意识科学理论以及构建有意识的人工智能系统的可能性。元战略摘编论文重要内容，探讨人工智能系统的意识问题。

人工智能系统是否有意识的问题日益紧迫。随着人工智能以惊人的速度快速发展，顶尖的研究人员正在从人脑中与意识相关的功能中汲取灵感，努力增强人工智能的能力。与此同时，能够令人信服地模仿人类对话的人工智能系统的兴起，可能会让许多人相信，与他们互动的系统是有意识的。在这篇论文中，作者认为，评估人工智能是否存在意识需要借鉴神经科学的意识理论。他们描述了此类著名的理论，并探讨这些理论对人工智能的影响。

一、本文的主要贡献

这篇论文的主要贡献体现在以下几个方面：

1. 文章表明评估人工智能中的意识在科学上是可行的，因为可以通过科学的方式研究意识，并且研究结果适用于人工智能；

2. 文章通过从科学理论中得出的指标属性，提出了评估人工智能意识的标准；

3. 文章提供了初步证据，表明通过现有技术可以在人工智能系统中实现许多指标属，尽管目前还没有任何一个人工智能系统表现出了强烈的意识属性。

二、研究人工智能意识的三个原则

首先，作者采用计算功能主义（computational functionalism）作为工作假设，即执行正确类型的计算是意识的必要且充分条件。该理论是心灵哲学的主流立场，不过仍存在争议。作者出于务实的考虑因而采用这一假设：与其他观点不同，它意味着原则上，意识在人工智能中可能是存在的，并且研究人工智能系统的运作与确定它们是否具有意识相关。这意味着，如果计算功能主义是正确的，那么该理论对人工智能意识的影响将十分有意义。

其次，作者认为神经科学（neuroscience）的意识理论具有重大意义的实证支持，可以帮助评估人工智能中的意识。这些理论旨在确定对人类意识必要且充分的功能，而计算功能主义的理论则意味着类似的功能对人工智能中的意识也是足够的。

最后，作者认为重理论的方法（theory-heavy approach）最适合研究人工智能中的意识。这包括调查人工智能系统是否执行与科学理论中与意识关联的功能，然后根据（a）功能的相似性、（b）相关理论的证据强度、以及（c）个体对计算功能主义的信任来分配可信度。这种方法的主要替代方案是使用行为测试意识，但这种方法并不可靠，因为人工智能系统可以被训练成模仿人类行为，但工作方式却大相径庭。

目前，意识科学中存在多种理论，因此作者在此不支持任何一种理论。相反，作者从对意识理论的研究中得出了一系列指标属性（indicator properties）。这些指标属性中的每一个都被一个或多个理论认为是意识的必要条件，而某些指标属性的子集一同存在时就被认为是充分的。然而，作者认为拥有更多指标属性的人工智能系统更有可能有意识。为了判断一个现有或拟议的人工智能系统是否有意识，应该评估它是否具备或将会具备这些指标属性。

具体地，作者讨论的科学理论包括循环处理理论（Recurrent processing theory，RPT）、全局工作空间理论（Global workspace theory，GWT）、高阶理论（Higher-order theory，HOT）等。作者不考虑综合信息理论，因为它与计算功能主义并不兼容。作者还考虑了能动性与具身化（Agency and embodiment，AE）是指标属性的可能性，不过必须从它们所隐含的计算特征来理解。

由此，作者列出了以下指标属性：

作者还列出了这些属性所依据的理论，并在文中第2章节介绍了支持这些观点的论据，并解释表中的设想。

在制定了指标属性列表之后，作者中讨论了如何利用每个指标属性来构建人工智能系统或已经构建的人工智能系统是怎么做的。在大多数情况下，标准机器学习方法可以用于构建拥有此列表中单个属性的系统，尽管需要实验来学习如何构建和训练结合多个属性的功能性系统。作者表示，现有的人工智能系统（比如使用算法递归的输入模块RPT-1）显然能够满足列表中的一些属性。其他研究者还实验了旨在实现特定意识理论的系统，包括全局工作空间理论和注意图式理论。

作者考虑了现有一些特定的人工智能系统是否拥有上表中的指标属性，包括基于Transformer的大语言模型和Perceiver架构，并根据全局工作空间理论进行分析。作者还分析了DeepMind的Adaptive Agent（一个在3D虚拟环境中运行的强化学习智能体）、谷歌的PaLM-E（一个经过训练可以操纵机器人的多模态视觉语言模型）。这些人工智能系统被用作案例研究来说明有关能动性与具身化的指标属性。但结果并没有表明任何现有人工智能系统表现出了强烈的意识属性。

此外，本研究讨论的很多问题远非定论，作者强烈建议进一步研究意识科学及其在人工智能中的应用。作者还呼吁尽快构建有意识的人工智能系统的道德和社会风险。作者在本研究中的证据表明，如果计算功能主义是正确的，那么有意识的人工智能系统可以在短期内建立起来。

三、人工智能是否有意识

关于人工智能意识的辩论都存在一定的风险，其中包括两类风险：一类是与意识归因不足相关的风险（即无法识别具有意识的人工智能系统），另一类是与意识归因过度相关的风险（即将意识归因于并非真正有意识的系统）。

（一）低估AI是否有意识

正如许多学者所指出的，随着作者开发出越来越复杂的人工智能系统，人们将面临越来越多道德的难题。哲学家们对有意识与道德地位之间的确切关系存在分歧，但任何能够有意识地承受痛苦的智能体都值得考量道德。这就意味着，如果我们不承认人工智能系统的意识，人们就有可能造成或允许造成道德上的重大伤害。

用非人类动物作类比更有助于说明这个问题。在强大的经济动机驱使下，人类虐待了大量养殖的动物。无论这种虐待是否取决于赋予这些动物意识，但它都说明了潜在的问题。就人工智能而言，对意识的归属可能会有相当大的阻力，部分原因是人工智能的开发者可能有强大的经济动机来淡化对福利的关注。因此，如果我们构建的人工智能系统能够有意识地承受痛苦，那么只有当研究人员清楚地认识到并传达这种能力时，我们才有可能防止它们大规模地承受痛苦。然而，鉴于上文提到意识的不确定性，因此，我们可能会在意识到自己已经创造出有意识的人工智能系统之前就这样做了。

在这种情况下，重要的一点是，有意识并不等于能够有意识地承受痛苦。至少在概念上，有可能存在这样一种有意识的系统，它们没有有价值或有情感的意识体验，也就是说，它们没有感觉好或不好的体验。如果只有有价值的体验才具有特殊的道德意义，那么确立人工智能系统道德地位的关键问题就是它们是否具有这种体验的能力（即它们是否有知觉）。与视觉体验理论相比，有价值的意识体验理论还不够成熟，这也是未来工作的一个重要优先事项。不过，作者认为，许多可能的意识系统，同时也是主体系统，都存在有价值的体验，因为主体系统必须评估后才能选择行动。

（二）高估AI是否有意识

我们也有很大可能会过度赋予人工智能系统意识。事实上，这种情况似乎已经在发生，并且这种错误也存在相关风险。最直截的风险是我们可能会错误地优先考虑人工智能系统感知到的利益。正如Schwitzgebel和Garza（2015，2020）所言，人工智能系统道德地位的不确定性是危险的，因为归因不足和归因过度都会付出高昂的代价。

过度归因很可能是因为人类有一种公认的倾向，即把非人类系统拟人化并过度归因于类似人类的心理状态。越来越多的研究探讨了人们将意识和主体性归因于人工系统的倾向，以及影响这种归因的因素。人类会产生“主体偏见”，即将主体性、意图和情感赋予非人类实体的自然倾向。

一种可能性是，我们可能会将人工智能系统拟人化，因为这似乎有助于理解和预测它们的行为，尽管这种印象可能是错误的，拟人化实际上会导致我们做出不正确的解释。拟人化可以让我们用理解人类的认知框架来理解和预测像人工智能这样的复杂系统，从而有可能帮助我们在与人工智能的互动中游刃有余。Dennett于1987年提出，个体采用一种认知策略，即“意向立场”（intentional stance）来预测和解释各种实体的行为，包括人类、动物和人工智能系统。意向立场包括将信念、欲望和意图等心理状态归因于实体，以解读和预测其行为。对人工智能系统的观察和与人工智能系统的互动往往会让人自然而然地采用意向立场，尤其是当它们的行为看起来是有目的或有目标的时候。当人工智能系统表现出类似人类的特征，如自然语言处理、面部表情或自适应学习能力时，这种倾向会进一步放大。研究人员发现了几个容易使人类将人工智能系统拟人化的因素，包括它们的外貌、行为和感知到的自主性。

将能动性和意识赋予人工智能也可能是出于社交互动的情感需要。从人工系统中寻求社交互动和满足感的人可能更容易将意识赋予人工智能系统。将类似人类的特质赋予人工智能可以帮助人们应对困难的情绪或情况。现在的语言模型可以令人工智能信服地模仿人类话语，这让人们很难不认为自己是在与一个有意识的主体互动，尤其是当模型被提示在对话中扮演一个人的角色时。

四、意识和能力

在大众的想象中，意识与自由意志、智慧和感受人类情感的倾向相关，包括同情、爱、内疚、愤怒和嫉妒。因此，作者提出有意识的人工智能可能在短期内实现，这可能意味着作者很快就会拥有类似科幻小说中描绘的非常像人类的人工智能系统。事实上，这是否会发生取决于意识与其他认知特征和能力之间的关系。此外，如果意识与人工智能的重要能力相关联（或有望相关联），那么有意识的人工智能系统就更有可能被构建出来。

一些有影响力的人工智能研究人员目前正在开展一些项目，旨在通过构建更有可能有意识的系统来提高人工智能的能力。作者已经讨论过本吉奥及其同事正在进行的工作，该工作采用了全局工作空间理论的思想。

Goyal和Bengio（2022年）写道：我们的目标是从有意识处理的认知科学研究中汲取灵感（并进一步发展），以提供大大增强的人工智能，并通过高级推理来实现人类的能力。

同样，LeCun提出的自主智能架构也具有一些特征，如用于规划的世界模型和“配置器”，后者被描述为接受所有其他模块的输入，并为任务配置其他模块。LeCun还认为，人脑中存在这样的元素可能是造成他所说的“意识错觉”的原因。这些都是人工智能领域长期以来广泛借鉴认知科学见解的例子。因此，无论建立与意识相关的特征是否是实现更强能力的唯一途径，这都是我们可能采取的方法。

现在来谈谈有意识的人工智能系统可能会如何做出行动的问题，我们有概念上和经验上的理由怀疑有意识是否意味着具有类似人类的动机或情感。从概念上讲，有意识只是拥有主观经验。原则上，有意识的主体可能拥有与人类截然不同的经历。特别是，缺乏情感或情绪的意识体验在概念上不存在明显的不一致性，即使意识主体确实有情感或情绪状态，这些状态也可能是由不同的环境触发的，与触发情绪的环境不同，并促使他们以不同的方式做出行动。从经验上看，本文讨论过的意识理论都不认为意识意味着类似人类的动机或情感。

目前，人们对人工智能影响的许多担忧并不取决于人工智能系统是否有意识。例如，人们担心根据反映当前社会结构的数据训练出来的人工智能系统可能会延续或加剧不公正现象，但这并不取决于人工智能是否有意识。也许最令人担心的是，人工智能可能对人类的生存构成威胁的论点并不假定人工智能是有意识的。对这一结论的典型论证依赖于以下前提：

1. 我们将建立人工智能系统，这些系统具有很强的制定和执行计划以实现目标的能力；

2. 如果这些系统的目标选择不当，那么它们为实现目标而找到的方法可能是极其有害的。

因此，这些前提以及对它们的典型描述都不依赖于人工智能系统是有意识的。

文章译自：arXiv官网

文章题目：

Consciousness in Artificial Intelligence：Insights from the Science of Consciousness

文章链接：https://arxiv.org/abs/2308.08708

免责声明：文章内容系作者个人观点，如有任何异议，欢迎联系我们！图片来源于网络，如有侵权请联系删除。

编译 | Allen Wang，Zoie Y. Lee

编辑| 流景

审校| Zoie Y. Lee

声明：本文来自元战略，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。