AI是怎么思考的：Anthropic研究员打开黑箱 | Claude | 可解释性 | Emmanuel Ameisen | Lenny Podcast | 语言模型 | 预训练 | 缩放定律

大家好，这里是最佳拍档，我是大飞。今天这期视频，我们再聊聊大模型的可解释性。我们丢给模型一个问题，它还给我们一个答案，中间那一段到底发生了什么？

Lenny问，我们写了一段代码 却要像神经科学家研究大脑那样去观察它 这是不是很不可思议 阿梅森的回答很实在，有些软件 我们根本不知道规则怎么写 做个App，程序员可以写规则 用户点这个按钮就发生那件事 可是把图片分成类别 或者做一台能读报告、写邮件的机器 没有人写得出规则 只能让它自己学习 很多人对大模型的印象 是手机输入法里的联想功能 你打几个字它猜下一个词 大概60%的时候猜得对 剩下的时候有点好笑了 阿梅森说 这恰恰是大家对这些模型最大的误解 语言模型在2019年前后 预测下一个词就已经比人类准了 再往下走，容易的词会被用完 最开始只需要学会简单的句子结构 后来要学会简单的世界知识 比如"法国的首都是"后面要接巴黎 等这些都做好了 剩下的就是最难的那些词 比如一道复杂物理题的答案 或者博士论文的最后一段 他最喜欢的例子是 达拉斯所在的那个州的首府是 模型要说出奥斯汀 要做对这件事 脑子里得有一个地理的小模型 达拉斯在得克萨斯 得克萨斯的首府是奥斯汀 Lenny提到好像是伊利亚说过 要把下一个词预测好 你几乎得理解整个宇宙 阿梅森补充了一个他也很爱的例子 推理小说的最后一页

Anthropic的可解释性研究员埃马纽埃尔·阿梅森（Emmanuel Ameisen），他每天的工作就是打开Claude的内部，看它在说出下一个词之前究竟想了些什么。最近他上了Lenny的播客，详细解释了模型的内部思考过程。

以前我们说模型理解某件事 听上去总有点修辞的味道 而这里是有证据的，同一个概念 不管用什么形式出现 里面亮的是同一个方向 而且你拨动它，模型的行为也跟着变 能被识别，又能被拨动 这比单纯观察输出要可靠得多 第二个让阿梅森改变看法的发现 是计划 如果模型一次只输出一个词 它怎么可能写出连贯的报告或代码呢？ 现实里没人写邮件时脑子是空的 只想着下一个词 他们发现 模型在预测第五个词时产生的中间结果 后面所有的词都可以读取和重复利用 这就给计划留出了空间 他举的例子是写诗 押韵没法不做计划 上一行结尾是it这个音的词 下一行就得找个同韵的词 比如rabbit 他们在模型写诗时看到了完全一样的情形 写完一行 中间结果里就出现了，这是it韵 我该用rabbit来押韵，之后每一个词 都在回头参照这个计划 更有意思的是 这个计划只存在于内部 模型不需要把它说出来 Lenny在这里直接点破 大家原来都以为大模型就是个下一个词预测器 你的发现是不是说那个说法不对了 阿梅森的回答很有分寸 两种说法其实不像看上去那么冲突 训练的时候确实是一遍遍问接下来会怎样 但是当模型足够强、任务足够难的时候 想把下一个词答对 最好的办法就是去想更远的事

阿梅森开口先讲了一个听上去很怪的事实：做出一个模型，并不等于理解了这个模型。造模型的办法，是先搭一个架构当脚手架，然后把大量数据灌进去，模型就在我们看不懂的地方长出了能力。第一阶段叫预训练，拿一大堆文本，把前半段喂给模型，让它预测下一个词，反复做上天文数字那么多次。之后是微调，用一批示范对话，教它像一个乐于助人的助手那样说话和解决编程问题。

源头是缩放定律（scaling laws） 当年那篇著名的缩放定律论文 正是Anthropic的早期团队在OpenAI时做出来的 往预测下一个词这件事里投入更多算力和数据 模型的水平就可预期地持续提高 他说这主要是个经验规律，难得的是 这个指标恰好和我们真正在乎的很多任务相关 他还补了一层，这不只是堆算力 关键是找到了算力能持续带来回报的目标 砸算力训练下围棋的程序也能越来越强 但是带来的东西远比不上语言模型 是算力加上文本本身的丰富性 这个组合才把一切带到了今天 他给的解释很直观 把世界上所有的文本想成有容易的词、中等的词和难的词 模型先学会容易的，也就是句子结构 能写出通顺的句子 但一次只能写一句，没什么用 接着学会中等的，也就是基础事实 于是句子既通顺又真实 开始能帮你写邮件、起草文章 最后才是难的 比如科学和代码里的专业知识 过程一直是平滑的 但每种任务都有自己的可靠性门槛 比如写邮件，模型对了90%的中等词 你就觉得有用 如果只对50%，你每次都得改 反而浪费时间 编程也是这样 他说他自己是亲历者 在Opus 4.5之前 他不敢让Claude放手去做 得盯得很紧，之后就可以了 今年Claude已经承担了他大部分的写代码工作 因为它从大约80%的时候做对 进步到了99%的时候做对 前者没法用，后者就能用了

他对模型内部的描述很朴素：输入的词先变成数字，做一轮数学运算得到一个中间结果，再做一轮再得到一个，重复很多次，最后才变回一个词。长出来的就是中间这些运算。通过学习，参数被一点点调整，模型学会了一些公式，而我们并不知道这些公式是什么。他说这份工作更像生物学，而不是工程学。系统是到达你面前的，别人问你它为什么会有这个奇怪的行为，可你拿不到源代码，因为所谓源代码，只是一大堆的数学运算。

甚至写出我被恶魔附身了 他们去看内部 发现模型还没开始解题 36就已经被强烈激活了 它还没读懂题目就已经迷上了36 原因是训练时有一批类似的题目 答案被错误地标成了36 这样一来，模型知道正确答案是12 同时又被优化成要说36 两股力量在互相拉扯 第二个是金门大桥的例子 他们找到了对应金门大桥的那组中间结果 平时只在谈到金门大桥时才亮 这次就让它一直亮着 结果这个模型每个回答都要扯到金门大桥 阿梅森说 这也是让自己确信找对了的办法 如果解码出来的真是金门大桥 把它打开，模型就该这样表现 而它真的这样表现了 这两个例子放在一起 刚好说明研究黑箱的核心方法 正是观察加干预 监督其实有两种 一种是看模型说了什么 另一种是看模型是怎么想的 第一种今天已经很有用 第二种之所以重要 是因为模型的想法和说法可以不一致 36的那个例子就很说明问题 只看输出 你只会看到一个发疯的模型 只有往里看 你才知道问题出在训练数据被标错这样一个很具体、可以去修的地方 金门大桥那个则反过来了 通过主动干预内部 输出就会跟着改变 Lenny问阿梅森 大家对AI安全最容易误解什么 阿梅森的回答是拟人化（anthropomorphization）

Lenny问，我们写了一段代码，却要像神经科学家研究大脑那样去观察它，这是不是很不可思议？阿梅森的回答很实在：有些软件，我们根本不知道规则怎么写。做个App，程序员可以写规则，用户点这个按钮就发生那件事。可是把图片分成类别，或者做一台能读报告、写邮件的机器，没有人写得出规则，只能让它自己学习。

而模型显然是另一种东西 这个说法的分量在于 它是出于预测力的 而不是感情 后来Lenny忍不住问 你天天盯着这些东西看 多久会被震撼一次 阿梅森说，经常 他讲了自己的故事 他花了好几年才掌握SQL这门语言 后来他让Claude也学SQL 结果Claude比他强太多了 他说 我这辈子再也不可能在SQL上比Claude强了 这么简单的训练过程 模型怎么就做到了呢？ 面对这件事一般人会有两种反应 一种是否认 认为模型只是预测下一个词 不可能做到这些 可随着证据越来越多 这种立场越来越难站住 另一种是好奇，既然已经发生了 那就打开看看 而他选择了后者 对于AI的未来 阿梅森说他个人是乐观的 一个理由是 现在很多人在关注这件事 社会自然会在收益和风险之间来回调配资源 另一个理由是一种他称为推和拉的关系 模型越强，里面的世界模型越清晰 也就越好研究 但它们也更有能力躲开基础的安全措施 所以要根据这个推拉 不断调整投入多少 Lenny还提到一个流传很广的担忧 会不会出现快速起飞（fast takeoff） AI在某个临界点开始自我改进

很多人对大模型的印象，是手机输入法里的联想功能：你打几个字，它猜下一个词，大概60%的时候猜得对，剩下的时候有点好笑。阿梅森说，这恰恰是大家对这些模型最大的误解。语言模型在2019年前后，预测下一个词就已经比人类准了。再往下走，容易的词会被用完。最开始只需要学会简单的句子结构，后来要学会简单的世界知识，比如"法国的首都是"后面要接巴黎。等这些都做好了，剩下的就是最难的那些词，比如一道复杂物理题的答案，或者博士论文的最后一段。

所以研究者不只观察 还会改变内部活动 再看输出是否按照预期变化 阿梅森把这种干预 视为确认解释是否站得住的重要办法 一个说得通的解释 和一个经得住干预的解释 含金量是不同的 这也是阅读AI研究的分界 先看研究者到底改动了什么 再看结论有没有超出这个改动所能支持的范围 模型能把解题过程讲得有条理 经常会让人产生一种放心感 步骤都交代清楚了 过程似乎也就透明了 但是阿梅森却提醒 模型能够在内部表示一些没有说出来的内容 外部文本只覆盖了计算的一部分 不能因为没有写出某个中间活动 就认定它没有发生 这也说明，一段完整的推理说明 并不能自动充当正确性的保证 答案可能错 解释也可能与实际计算不一致 当然，内部过程没有完整变成文字 不等于存在人类式的秘密意图 对实际使用而言 更稳妥的做法是把说明当成检查线索 看它提出了哪些前提 哪些步骤能独立复现 哪些材料能回到原始出处核对 这些比它的语气自不自信更有用 阿梅森还谈到一个容易被低估的现象 内部表示可以在不同形式之间被重复使用 前面讲的眼睛那个例子就是如此 照片、图示以及文字谈论是很不一样的输入 调动的却是相近的内部方向 这里的重点不是模型拥有与人完全相同的概念 而是系统内部形成了某种共享表示 帮助不同表面材料接入后续计算

他最喜欢的例子是：达拉斯所在的那个州的首府是——模型要说出奥斯汀，要做对这件事，脑子里得有一个地理的小模型：达拉斯在得克萨斯，得克萨斯的首府是奥斯汀。Lenny提到好像是伊利亚说过，要把下一个词预测好，你几乎得理解整个宇宙。阿梅森补充了一个他也很爱的例子：推理小说的最后一页，"凶手是"后面那个词，你得读懂了整个情节才猜得出来。

阿梅森还分享了模型身上一些奇怪的小事 模型有一套类似直觉检查的机制 你问它问题 它会一步步算 但除此之外还有一个独立的部分 像一个直觉裁判一样 比如模型算出4加5等于23 这个部分根本不做数学 扫一眼就会标记 这不对，4加5肯定小于10 它们就这样学到了一些说不清道不明的直觉 听完这期访谈，我最大的感受是 阿梅森讲的这些事情 其实都在尝试回答同一个问题 当我们造出了一个自己不完全理解的东西 该用什么态度来面对它呢？ 他的答案是好奇，而不是否认 还有一点 简单的目标和复杂的结果之间的关系贯穿了整场对话 无论是预测下一个词 还是编程题答对就给奖励 进化里所有活下来的东西 目标都朴素到几乎可笑 但只要压力和规模足够大 里面就会长出概念、计划、直觉 甚至类似情绪的东西 所以不要问它的目标听上去有多高级 而要问为了把这个目标做到极致 它必须学会什么 我们习惯关心AI还能做什么 阿梅森一直在问的却是另一类问题 它在想什么 它是不是只在被看着的时候才表现得好 因此 当一个东西既强大又不是被设计出来的时候 我们对待它最好的态度 不应该是盲目相信 也不是想当然地否定 而是持续地观察 感谢收看，我们下期再见