2023年4月21日，俄罗斯科学技术中心发布《大型语言模型认知发展前景》文章。文章称，在过去的几年里，人工智能系统在解决图像、语音识别、严重疾病和复杂游戏等方面的能力已远远超过人类。因此，人们对于生成式人工智能拥有、甚至超越人类智慧的担忧也与日俱增。那么机器真的能够拥有人类的智慧吗？人机的差别与界限究竟在何处？本文从“意义与形式关系”的视角，尝试探讨这一问题。

俄罗斯科学技术中心发布《大语言模型认知发展前景》

发布机构介绍：俄罗斯科学技术中心隶属于俄罗斯联邦国家科学院无线电频率中心，旨在监测和分析通信、信息技术和大众传播领域的创新和先进成果，预测互联网和信息通信技术的发展方向

作者简介：达里亚·卡斯帕兰茨（Дарья Каспарьянц，Daria Kaspariantz），毕业于俄罗斯外交部莫斯科国立国际关系学院，目前为俄罗斯民主信息科学基金会（INDEM）国际项目副主任

编译整理：乔

全文摘要与关键词        

1.大型语言模型的本质是什么？大语言模型≠思维机器，仅代表人类认知工具的其中一部分，可理解为“形式语言处理的科学模型”

2.形式语言和功能语言，LLM的能力范围仍有局限性

3.大语言模型的未来方向：重点在模块化架构开发，将语言处理与其他感知、推理和规划系统整合在一起，而不是扩大模型的规模。

意义，究竟能否被形式感知？

大语言模型(LLM)为人类语言和认知科学的研究开辟了新的可能性。

——《大语言模型认知发展前景》

俄罗斯科学技术中心官网，2023年4月21日

从语言学角度来说，意义不能被形式感知。也就是说，像BERT（一个预训练的语言表征模型）这样的大语言模型并不研究语义，而是研究某种语言形式的意义反映。

——《上升到神经语言学理解：论大数据时代的意义、形式和理解》

Ascent to Neurolinguistic Understanding: On Meaning, Form and Understanding in the Age of Big Data，Emily M. Bender，2020年7月

语言学习、认知系统、神经生理学、大语言模型和聊天机器人的潜力之间存在某种关系。大语言模型在需要正式语言能力的任务中令人印象深刻（尽管不完美）的表现，但在许多需要功能能力测试中表现不佳。

——《大语言模型中语言与思维解耦：认知视角》

Decoupling Language and Thought in Large Language Models: A Cognitive Perspective，Kyle Mahowald等，2023年1月

01 大语言模型能力本质是什么？

1.1 大语言模型能力

大语言模型=思维机器吗？大语言模型生成连贯的、具有语法意义的文本段落的能力，使得人们纷纷认为这些系统将很快成为拥有抽象知识和推理能力的思维机器。

大语言模型能力的衡量标准。LLM能力是根据它们在语言使用中有效性来衡量的：

形式语言能力（特定语言的规则和模型知识）；

功能语言能力（多种认知能力，包括在现实世界中的理解和使用）。

1.2 语言、思维的关系与误解

语言是反映思想的窗口。当一个人在感知或阅读一个句子时，他会根据自己对现实世界的了解、批判性思维和推理能力，假定这个句子是由另一个人创作的。在我们看来，他人的陈述不仅是语言技能的反映，也是他们思想的窗口。

语言能力=思维能力？ChatGPT 生成的语言可与人类推理相媲美，并可向类人人工智能进化。因此，在讨论大语言模型时，需要特别关注有关“语言和思维”的两个关键误解：

误解1：语言学习能力=>思维能力

误解2：缺乏思维能力=>缺乏语言学习能力

误解从何未来？这些误解的核心是混淆了语言和思维的概念，即形式语言能力和功能语言能力。从大脑功能结构的角度来说，人脑处理语言的机制与负责记忆、思维和社交技能的机制是分开的。而如今的大语言模型，仅代表了人类认知工具的其中一部分，所以也可以将大语言模型理解为“形式语言处理的科学模型”。

02 形式语言能力和功能语言能力的区别

2.1 形式语言能力

形式语言能力是创造和理解给定语言所必需的一组核心能力。包括词汇量、了解造句的语法规则以及这些规则的许多例外情况和特异的语言结构。因此，人类有能力理解和再现语言，并判断语言中哪些陈述是可接受或不可接受的。

LLM正在接近“形式语言能力”。在人脑中，语言处理（理解、口头、书面或手势语言）只发生在左半球的某些脑区，而这些区域不负责解决非语言认知任务（执行算术运算、听音乐，识别面部表情等）。基于这点，如今的大语言模型可生成相关的语法文本，并能从输入数据中推断出语言概念，包括层次结构和一些抽象类别。这表明大语言模型有可能获得形式语言能力。

2.2 功能语言能力

功能语言能力是一种在现实生活环境中使用语言时的一组非特定认知功能。包括形式推理、定量思维、逻辑分析、包括事实和观点在内的操作原则知识、对人类行为的假设、对社会背景的理解和情境建模等。在现实生活中使用语言需要将其融入更广泛的认知结构中。

LLM很难实现“功能语言能力”。理解和再现语言所必需的认知功能并不是语言所特有的，而是受到其他神经连接的支持，而这些神经连接又不同于听力、阅读和作出假设所需的认知功能。也就是说，具有大量词汇和语法规则知识的模型将无法以人类的方式使用该语言。因此，LLM目前无法获得关于世界的全面而一致的知识，无法跟踪输入数据集中的关系和事件，也无法根据语言输入推断交际意图。

03 大语言模型的未来方向在哪？

目前，大语言模型被看作是一种语言处理工具。如果我们从语言模型成长为强大的（通用）人工智能（AGI）的潜力角度来考虑，我们需把重点放在开发模块化架构上。将语言处理与其他感知、推理和规划系统整合在一起，而不是扩大模型的规模。

参考文献：

https://rdc.grfc.ru/2023/04/llm_cognitive_development_prospects/

声明：本文来自认知认知，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。