吴三刀:『是否存在这样一个 LLM 压缩机，他学习了所有可能的知识 (那么它就可以高效地把所有知识都压缩)？

这里我们想说，没有这样的 LLM 压缩机。这里面有两个不可能。第一，如果这样，那么这个 LLM 压缩机就是一个完美的柯氏机器，但数学上能够证明这样的机器是不存在的，柯氏复杂度是不可计算的，是这跟哥德尔不完备、自我指涉相关，这里不做讨论。

我们讨论第二个不可能，即，“人类的知识”是永远增加的、无限的。人类的知识至少可以分为两部分：

其一是对于自然界中的所有规律，这个我们可能会认为是有限的 (或者说信仰有个万物公式)；

其二是文化上的“知识”，这个一定是无限的，因为文化是构建的；而且很多时候其实是语言构建的，即新的文化是在原来文化的基础之上产生的，并且是一定程度上不符合原来文化的“分布”的文化。(我们在下一篇文章《大语言模型next-token-prediction的局限和文化的构建》再详细讨论) 』

有点烧脑的理论探讨… 🤯