研究认为 大语言模型达不到人类智能水平

参考消息网报道 据美国趣味科学网站4月2日报道，一项新研究的作者认为，现有的大语言模型(LLM)架构或许不能提供支撑人类水平的人工智能(AI)所需的解决问题能力。

一项新研究表明，当今最流行的人工智能工具的架构限制可能会制约它们的智能发展程度。

近日发表在预印本文献库的一项研究认为，现代大语言模型在解决问题的逻辑上先天就容易出现被称为“推理失败”的故障。

当大语言模型忽略了可靠解决任务所需的关键信息时，就会出现推理失败，从而导致对看似简单的问题给出错误的答案。这篇论文对现有研究进行了回顾，特别关注了Transformer模型架构，这是一种支撑流行的人工智能聊天机器人——包括聊天生成预训练转换器(ChatGPT)、“克劳德”模型(Claude)和谷歌的“双子座”人工智能模型(Gemini)——的神经网络架构。

根据大语言模型在“人类最后一场考试”(HLE)等评估中的表现，一些科学家表示，底层神经网络架构有朝一日可以生成一款能够达到人类水平认知的模型。虽然Transformer模型架构使大语言模型在语言生成等任务上能力很强，但研究人员认为，它也抑制了实现真正人类水平的推理所需的那种可靠的逻辑过程。

研究人员说：“大语言模型表现出非凡的推理能力，在广泛的任务中取得了令人印象深刻的结果。尽管取得了这些进展，但重大的推理失败依然会出现，甚至在看似简单的场景中出现……这一失败应归因于整体规划和深入思考的缺乏。”

大语言模型的局限

大语言模型通过海量文本数据进行训练，并通过逐字预测一个合理的答案来响应用户的提示词。它们根据从训练数据中学到的统计模式，将称为“词元”的文本单元串在一起。

Transformer模型架构还通过自注意力机制来跟踪长串文本中词语和概念之间的关系。自注意力机制，外加庞大的训练数据库，是现代聊天机器人如此擅长对用户提示词给出令人信服的答案的原因。

然而，大语言模型不做任何传统意义上的实际“思考”。相反，它们的响应是由一种算法决定的。对于长任务，特别是那些需要跨多个步骤真正解决问题的任务，Transformer模型架构可能会忽略关键信息，并默认使用从训练数据中学习到的模式。这导致了推理失败。

研究人员在论文中说：“这个根本上的弱点不仅限于基本任务，还延伸到复合数学问题、多事实验证和其他本质上具有复合性质的任务。”

推理失败也导致大语言模型经常对用户的一个问题循环给出同样的回答，哪怕被用户告知回答错误也仍然如此。推理失败也导致当同一个问题的措辞略有不同时，即使提示它一步一步地解释其推理，也会给出不同的答案。

英国艾伦·图灵研究所的高级研究数据科学家费德里科·南尼认为，大语言模型通常呈现的推理大多是表面文章。

南尼对趣味科学网站记者说：“人们发现，如果你告诉大语言模型‘一步一步思考’、然后先写出一个推理过程，而不是直接作答，那么它通常会给出正确的答案。”但是他说：“那只是一种套路。它不是人类意义上的真正推理——它仍然只是伪装成思维链的‘下一个词元预测’。当我们说这些模型‘推理’时，我们真正的意思是它们写出了一个推理过程——也就是某种听起来像是合理推理链的内容。”

现有基准测试缺陷

研究人员发现，目前评估大语言模型表现的方法在三个关键领域存在不足。首先，改写提示词可能会影响结果。其次，基准测试的使用次数越多，性能就会越低，并受到污染。最后，它们只评估结果，而不是评估模型用来得出结论的推理过程。

这意味着当前的基准测试可能大大夸大了大语言模型的能力，并低估了它们在实际使用中失败的频率。

研究报告的合著者、加州理工学院计算机科学和机器人专业的学生宋沛洋通过电子邮件告诉趣味科学网站：“我们的观点不是说基准测试有缺陷，而是说它们需要进化。”同样地，基准测试也会渗透到大语言模型培训数据中，南尼说，这意味着后续的大语言模型会想出如何欺骗它们。

南尼说：“最重要的是，鉴于模型被部署到生产中，使用本身也成了一种基准测试。你把系统放到用户面前，看看哪里出了问题——这是新的测试。所以，我们需要更好的基准测试，我们需要更少地依赖人工智能来检测人工智能。但这在实践中非常困难，因为这些工具现在已经融入了我们的工作方式，而且使用它们极其方便。”

迈向通用人工智能

与最近的其他研究不同，本项新研究并没有作出以下主张，即在实现通用人工智能(AGI)的过程中，神经网络方法是一条死胡同。相反，研究人员将其比作计算诞生初期，他们指出理解大语言模型失败的原因是改进它们的关键。

但是，他们确实认为，简单地用更多数据训练模型或是扩大模型的规模，不太可能自行解决问题。这意味着开发AGI可能需要一种完全不同的方法来构建模型。

宋沛洋说：“神经网络，尤其是大语言模型，显然是AGI图景的一部分。它们的进展是非凡的。然而，我们的调查表明，仅靠扩展规模不太可能解决所有推理失败的问题……(这意味着)达到人类水平的推理可能需要架构创新、更强大的世界模型、改进的鲁棒性训练，以及与结构化推理和具身交互实现更深层次的整合。”

南尼表示赞同。他说：“从心灵哲学的角度来看，我会说我们已经基本上找到Transformer模型架构的极限。它们不是你构建数字思维的方式。它们对文本的建模能力极强，以至于几乎不可能分辨出一段话是由人类还是机器写的。但它们本质上就是语言模型……对于这种架构，你能推动的程度就是这样了。”（编译/冯雪）