即刻App年轻人的同好社区
下载
0 00
今天帮朋友做了个垂直领域的ai工具站，早上十点半聊需求，十一点开工，十一点半买好域名，六点出第一版Demo，十点半第二版，十二点正式上线。中间吃了三顿饭还出门跑了个步。😂虽然功能很简单，还是值得纪念一下
1 00
Andrej Karpathy的这段访谈解释了为什么llm不会讲笑话，按这个思路推理，用现在的框架训练的llm，永远无法自主创造娱乐性的内容，因为娱乐的本质就是跳出日常的分布：
模型的输出分布是塌缩的（collapsed distribution）。也就是说，模型生成的样本只覆盖了整个可能思想空间中极小的一部分。看单个输出你可能觉得没问题，但总体上，它的思维分布高度集中、缺乏多样性。举个直观的例子：打开ChatGPT，让它讲个笑话。你会发现，它几乎只会那三五个笑话。它的输出分布早已塌缩，不再包含人类那种丰富的随机性和创造性。而人类正相反：他们的思维有噪声，但正因为有噪声，才保留了巨大的熵（entropy）和发散性。也就是说，人类的思考虽然不完美，却保持了开放的探索空间。
模型的输出分布是塌缩的（collapsed distribution）。也就是说，模型生成的样本只覆盖了整个可能思想空间中极小的一部分。看单个输出你可能觉得没问题，但总体上，它的思维分布高度集中、缺乏多样性。举个直观的例子：打开ChatGPT，让它讲个笑话。你会发现，它几乎只会那三五个笑话。它的输出分布早已塌缩，不再包含人类那种丰富的随机性和创造性。而人类正相反：他们的思维有噪声，但正因为有噪声，才保留了巨大的熵（entropy）和发散性。也就是说，人类的思考虽然不完美，却保持了开放的探索空间。
0 00
0 00