人与大模型

简介：

在学习 agent 开发的时候，看到 llm 各种行为和我还挺像，我开始想象，我是否也是个不那么聪明的 llm 呢？

于是就有了这篇随心所欲想到一个特性就来补充一个特性的随想录。

---

幻觉

经常使用 llm 一定会遇到大模型出现幻觉。

所谓幻觉，是模型一本正经地在那儿瞎编，编一个不存在的网站，或者在写代码的时候给你写一段根本不存在的 api（深受其害😩）。

幻觉其实有过一定机器学习知识的人应该都不难理解，llm 的输出只是不断的编码解码，通过对上下文的概率预测来生成下一个最可能出现的词汇，它其实并不具备"事实检索"或"逻辑验证"的能力（虽然现在大家使用的都带上了各种工具可以检索，但当检索也检索不到的时候，幻觉依然会发生）。当训练数据中缺乏某种知识，或者用户的问题超出了语料的分布范围时，模型就会"自信地胡说"，生成看似合理但实际上虚构的内容。

其实人也有「幻觉」。

比如曼德拉效应¹和既（即）视感²。两者我都经历过，甚至既视感最近也会出现。这其实和 llm 的幻觉很像，都是「我以为我知道这个东西」，当然，实际上根本不知道以及根本没来过这地方，只是关联到了某个可能很相近的部分。

人的幻觉更多是一种情感上的补全，我经常（我相信大家也经常）因为看到某些东西或某些事情而触景生情，我们都在用幻觉来维系一种「连续性」，于是就有了“我好像经历过这件事的”的既视感，也有了某个人还在的错觉，幻觉就是在维持这种联系。

llm 用这种联系来维持自己的文字接龙游戏。而我们用这种联系来维持事物与情感的关联。

---

偏见

大模型时代有许多偏见。包括且不仅限于：有过多 emoji 是 ai 😂，动不动就喜欢用破折号的——是 ai，代码里喜欢写一堆注释的（比如这样 // 这是一个注释）还是 ai...

看到这里，你应该怀疑我是不是 ai 🤨。

是的，我要告诉你，我就是 ai——因为我中了这些"偏见"里几乎所有的一条，就连现在我都还在使用大模型最喜欢的破折号。基于刻板印象，或者说基于合情合理地推断，应该可以把我视作一个 ai，那么接下来你可以把所有的东西都当成是 ai 写的，看看我们能不能把偏见推的更高一些。

如果照着这种逻辑推下去，凡是符合某些特征的文字都能被标记成 ai，那是不是说明：我们对 ai 的偏见，其实是对"形式"的偏见？

就像上面所论述的，我们对大模型产出的内容偏见很深，而大模型也继承了人类的"优良"偏见，并将其发扬光大，嗯，应该是正在进行中。

我这个月在读 Trading agent ³ 论文的时候就见识过大模型的偏见了：

金融交易尚且如此，别的地方估计也好不到哪儿去...

而我们又用含着类似偏见的数据去训练大模型，让它又更具有偏见，照这样迭代下去，未来的刻板印象应该是指数级增长的：人类带着偏见训练 → 大模型带着偏见回馈人类 → 人类偏见加深 → 大模型偏见翻倍。

即使对训练数据集做一些清洗处理，但那也仅仅只是"一些清洗处理而已"，就拿世界上黑话最多的中文互联网环境来谈，真的能保证清洗完这些语料吗？

我持悲观态度。这里最后放一段我在看完《杀死一只知更鸟》的短评：

人的偏见是一座大山。压在每一个人的身上，即使在读完这本书后我也不敢声称自己抛弃了偏见与以往的刻板印象。

最初阅读二战史，为希特勒犯下的滔天罪行感到痛恨，对纳粹抱有偏见；但时至今日，看到巴以冲突那惨无人道的战场，我又开始犹豫，对犹太人的看法更多发生了转移。

其实谈不抱任何偏见我始终认为是不现实的，阿迪克斯一般的人我至今仍未见过，或许之后也不会认识，我更愿意认可的是，成长是一种思考的转移，傲慢根植于我们的内心，偏见自然长存，但存在偏见的同时，更重要的是心中的那份善良，如同斯库特和杰姆，同样也对于"怪人"拉德利，即使我们摆脱不了那份偏见，但善良依旧会保护我们，保护我们周围的知更鸟。

这才是这本书给我带来的思考。

大模型就像人类的镜子。虽然我很讨厌 Anthropic 这家公司的某些行为，但我还是认为他们在对于模型安全这部分做的努力是对的。

毕竟，如果真的像我上面所说的，大模型的偏见毫无克制的指数型增长的话，那这个世界就真的是坏透了。

---

过长的记忆是累赘

在做 agent 开发的过程中我还体会到了大模型另外一些有意思的特性。

agent 的上下文管理是非常重要的，因为需要汇聚 user Message 、 assistant Message 和 tool Message 这三种信息。

如果上下文长度过长，由于 transformer 本身也是个 O(n^2) 的架构，算力不够的情况下，模型就会开始胡言乱语。

而设计不好的 mcp 就会踩到 tool message 这个雷点。之前的 github mcp 的 tool 高达 90 个， cusor 上会跳出对应的提示：太多的工具会让模型不知道用什么。

因为每个工具是需要绑定在模型的 tool Message 中的，太多的 tool 就会引起上下文的急剧膨胀，从而导致错误的使用。

事实也如此，当我把这些 mcp 全部打开，使用 github mcp 时它就会经常搜索半天不知道自己该用什么（现在模型上下文变强和 tool call 能力变强后这种现象有所下降）。

这也和人类似，我们所学的应该是一种抽象化的方法，而不是将完整的解题工具流程放在脑子之中。

高中时期经常听到物理老师让大家实在不会做就去背几道题，然而只背题的同学依旧做不出来题，大概也是这个道理。

当你记不住细节时，大脑被迫提取精炼的抽象方法，看到整体后再去想具体的事件，这应该是一个很好的实践。

Anthropic 最近提出的 Claude Skill ⁴我觉得就是一个不错的例子。

---

播客中所听到的

听了 Andrej Karpathy ⁵ 的播客（实际上是看了翻译过来的对话，真要我听全程英文播客还是太难为我了🥲），里面有很多很有意思的观点。

我印象最深的是：人类读书和学习是在做什么？

他的回答大概的意思是（至少由我和 llm 共同解读的意思是）：

"我们读的书其实是 prompts，让我们合成数据生成用的"。

每一本书、每一次学习，都在我们脑中添加一条新的连接，让世界在我们心里变得更连贯一点。而这正是目前大模型所缺乏的——它读了无数文字，却从未"活在世界中"，没有真正体验、没有情绪背景、也不会因为某个片段而"顿悟"。

人类学习是一种持续学习，是通过生活本身的流动来更新权重。人从不在某个时刻"训练完毕"，我们一直在微调自己：被一句话触动、被一次失败改变、被一段关系调整。而大模型的记忆，却是静态的——它无法在"交互"中成长。

这让我想到一个小小的比喻： 人类学习像是漫长的手写笔记，边写边擦； 而大模型的学习更像是烧录固件，一旦完成训练，想更新就得重新编译再烧一次。

除此之外，他还有一个让我印象深刻的类比。

他把人类与大模型的学习方式，分成了三种状态：儿童、成人、以及 LLM。

儿童——记忆最差，但创造力最强。因为他们还没有被“过拟合”到社会的规则里。

成人——记忆中等，创造力中等。我们的世界观和习惯已经收敛，脑中的“参数空间”坍塌成一套稳定模式。

而 LLM——记忆几乎完美，却是创造力最低的。它背负着庞大的训练语料，被语言统计规律牢牢束缚，无法偏离平均值哪怕一步。

Karpathy 在节目里提到 Erik Hoel 的一个有趣研究：梦境，可能是人类防止"过拟合"的机制。连做梦，都是我们为自己引入噪声的方式。通过梦的随机性，我们打破思维的惯性，维持创造力的活性。

这也解释了为什么当前的大模型在"合成数据训练"上常常失效。如果你让 GPT 对同一本书思考十遍，它会给出几乎一模一样的回答——就像陷入"静默坍塌"一样。它的输出分布极窄，Karpathy 开玩笑说："它实际上只有三个笑话。"在这种低熵的数据上继续训练，只会让模型的偏见更强、想象力更弱。

但想想人类，其实也一样。我们从童年到成年：语言变得精确，想法变得可预测，学习率下降，创造力递减。

我可以非常清楚的在我的身上体会到。

我现在的确很难想象一些东西了。除此之外我也一直都不喜欢看原著改编的电视剧/动漫，它会消除我之前读这本书时的所有想象。

在看哈利.波特的电影前，我将原著林林总总少说也看过 3、4 遍，我的心中早就有了一个「想象中的哈利」，所以当我看到电影与我想象并不一样时，确实会很失望。

所以我这里还挺想提出一个暴论的：视觉上的过度输入反而会扼杀想象力。

---

我是否也是个不那么聪明的 llm？

回到最初我提出的问题——我是否也是个不太聪明的 llm 呢？也许是，也许不是，这种问题向来给不出什么确定的答案，我也仅仅只是将这个讨论当作一次娱乐，作为随想。

人类在某种意义上确实像 llm：我们通过输入（阅读、听闻）形成输出（表达、写作），我们有参数（性格、经验），也有随机性、温度（情绪、状态），甚至也会出现幻觉（记忆错误）与偏见（刻板印象）。

但如果狂妄一点的话，我觉得我不是个「不那么聪明的 llm」，我比它强，至少我的「遗忘」比它更为智能，不用时时刻刻受到记忆本身的困扰。

llm 什么都记得，但其实什么都不理解，用李宏毅老师在他的课⁶上一直强调的一句话来讲：llm 永远只是在做文字接龙；而我什么都记不清晰，所以可以让我重学好几遍 rust 😂，这就是身为碳基生物独有的体验了。

---

基本上每个部分都提出了暴论，大概就是我在 「🤔」，如果是真的大模型看这篇文章的话，应该是 「？🤖 👉 🤣」

Footnotes

1. https://zh.wikipedia.org/wiki/%E6%9B%BC%E5%BE%B7%E6%8B%89%E6%95%88%E5%BA%94 - 曼德拉效应 ↩

2. https://zh.wikipedia.org/wiki/%E6%97%A2%E8%A6%96%E6%84%9F - 既视感 ↩

3.  https://arxiv.org/html/2507.22758 - Trading agent 论文 ↩

4. https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills - Claude Skill ↩

5. https://www.youtube.com/watch?v=lXZvyajciY - Andrej Karpathy 播客 ↩

6. https://www.youtube.com/watch?v=8iFvM7WUUs8&t=6110s - 李宏毅老师的课 ↩