大型语言模型，比如为ChatGPT等流行的人工智能聊天机器人提供动力的模型，非常复杂。尽管这些模型在许多领域被用作工具，如客户支持、代码生成和语言翻译，但科学家们仍然没有完全掌握它们是如何工作的。
为了更好地了解引擎盖下发生了什么，麻省理工学院和其他地方的研究人员研究了这些巨大的机器学习模型检索存储知识时的工作机制
他们发现了一个令人惊讶的结果：大型语言模型（LLM）通常使用一个非常简单的线性函数来恢复和解码存储的事实。此外，该模型对类似类型的事实使用相同的解码函数。线性函数是只有两个变量而没有指数的方程，它捕捉了两个变量之间直接的直线关系
研究人员表明，通过识别不同事实的线性函数，他们可以探究模型，看看它对新主题的了解，以及知识在模型中的存储位置
使用他们开发的一种技术来估计这些简单的函数，研究人员发现，即使模型对提示的回答不正确，它也经常存储正确的信息。未来，科学家可以使用这种方法来发现和纠正模型中的错误，这可以减少模型有时给出错误或荒谬答案的倾向
“尽管这些模型非常复杂，是基于大量数据训练的非线性函数，很难理解，但有时它们内部也有非常简单的机制在起作用。这就是一个例子，”电气工程和计算机科学（EECS）研究生Evan Hernandez说，他是arXiv预印本服务器上一篇详细介绍这些发现的论文的共同主要作者
Hernandez与东北大学计算机科学研究生Arnab Sharma共同撰写了这篇论文；他的顾问Jacob Andreas，EECS副教授，计算机科学与人工智能实验室（CSAIL）成员；资深作者、东北大学计算机科学助理教授David Bau；以及麻省理工学院、哈佛大学和以色列理工学院的其他机构。这项研究将在5月7日举行的国际学习表征大会（ICLR 2024）上发表；11在维也纳
Finding facts
大多数大型语言模型，也称为转换器模型，都是神经网络。神经网络松散地以人脑为基础，包含数十亿个相互连接的节点或神经元，这些节点或神经元被分为许多层，对数据进行编码和处理
存储在转换器中的许多知识可以表示为连接主体和对象的关系。例如，“迈尔斯·戴维斯吹小号”是一种将主体迈尔斯·Davis与客体小号联系起来的关系
随着转换器获得更多知识，它会跨多个层存储有关某个主题的额外事实。如果用户询问该主题，则模型必须解码最相关的事实以响应查询
如果有人提示变压器说“Miles Davis演奏…”，模型应该用“小号”而不是“伊利诺伊州”（Miles Daviss出生的州）来回应
“在网络计算的某个地方，必须有一种机制来寻找Miles Davis吹小号的事实，然后提取信息并帮助生成下一个单词。我们想了解这种机制是什么，”Hernandez说
研究人员建立了一系列实验来探测LLM，发现尽管它们非常复杂，但这些模型使用简单的线性函数来解码关系信息。每个函数都特定于要检索的事实类型
例如，转换器在任何时候都会使用一个解码功能来输出一个人演奏的乐器，而在每次输出一个人出生的状态时都会使用不同的功能
研究人员开发了一种估计这些简单函数的方法，然后计算了47种不同关系的函数，如“一个国家的首都”和“乐队的主唱”。
虽然可能有无限多的可能关系，但研究人员选择研究这一特定子集，因为它们代表了可以用这种方式书写的各种事实
他们通过改变主题来测试每个功能，看看它是否能恢复正确的对象信息。例如，如果主题是挪威，则“国家首都”的功能应检索奥斯陆；如果主题是英国，则检索伦敦
函数在60%以上的时间内检索到正确的信息，表明转换器中的某些信息是以这种方式编码和检索的
“但并不是所有的东西都是线性编码的。对于某些事实，即使模型知道它们并预测与这些事实一致的文本，我们也找不到它们的线性函数。这表明模型正在做一些更复杂的事情来存储这些信息，”他说
Visualizing a model's knowledge
他们还使用这些函数来确定模型对不同主题的真实看法
在一个实验中，他们从提示“Bill Bradley是”开始，并使用“参加体育运动”和“上过大学”的解码功能，看看模型是否知道参议员Bradley是普林斯顿大学的篮球运动员
Hernandez说：“我们可以证明，尽管模型在生成文本时可能会选择关注不同的信息，但它确实对所有这些信息进行了编码。”
他们使用这种探测技术产生了他们所说的“属性透镜”，一种可视化特定信息的网格
Attribute lenses can be generated automatically, providing a streamlined method to help researchers understand more about a model. This visualization tool could enable scientists and engineers to correct stored knowledge and help prevent an AI chatbot from giving false information.
In the future, Hernandez and his collaborators want to better understand what happens in cases where facts are not stored linearly. They would also like to run experiments with larger models, as well as study the precision of linear decoding functions.
"This is an exciting work that reveals a missing piece in our understanding of how large language models recall factual knowledge during inference. Previous work showed that LLMs build information-rich representations of given subjects, from which specific attributes are being extracted during inference.
"This work shows that the complex nonlinear computation of LLMs for attribute extraction can be well-approximated with a simple linear function," says Mor Geva Pipek, an assistant professor in the School of Computer Science at Tel Aviv University, who was not involved with this work.
想要了解更多关于脑机接口技术的内容，请关注脑机网，我们将定期发布最新的研究成果和应用案例，让您第一时间了解脑机接口技术的最新进展。
