Andrej Karpathy 的智慧之言：关于 「幻觉问题」

当我被问及LLMs 的 「幻觉问题 」时，我总是有些纠结。因为从某种意义上说，幻觉是LLMs 的全部工作。他们是造梦机器。

我们用提示来引导它们做梦。根据 LLMs 对其培训文档的朦胧回忆，大多数情况下，这些提示会启动梦境。

只有当梦进入被认为与事实不符的领域时，我们才会将其称为 「幻觉」。它看起来像一个错误，但其实只是 LLMs 在做它一直在做的事情。

另一个极端是搜索引擎。它收到提示后，只会逐字逐句地返回其数据库中最相似的 "训练文档 "之一。可以说，这个搜索引擎有一个 「创造力问题」--它永远不会有新的回应。LLMs 100%在做梦，存在幻觉问题。搜索引擎是 0% 在做梦，存在创造力问题。

说了这么多，我意识到人们「实际的意思」是他们不希望 LLM 助手（ChatGPT 等产品）产生幻觉。LLM 助手是一个比LLMs 本身复杂得多的系统，即使LLMs 是它的核心。

在这些系统中，减轻幻觉的方法有很多--使用检索增强生成（RAG），通过上下文学习将梦境更牢固地锚定在真实数据中，这可能是最常见的一种方法。多个样本之间的分歧、反思、验证链。从激活中解码不确定性。工具使用。所有这些都是活跃而有趣的研究领域。

总之，我知道我是个超级迂腐的人，但 LLMs 没有 「幻觉问题」。幻觉不是错误，而是 LLMs 最大的特色。LLM 助手存在幻觉问题，我们应该解决它。

好了，我现在感觉好多了:）

(补上了 Elon Musk 神回复)