绝。前两天帮孩子用转笔刀削铅笔的时候，就又想起来当初也是一直削断...

Richard Feynman 有本书叫《你干吗在乎别人怎么想》，里面有个同名章节。本来想尝一尝物理学大师酿制的鸡汤，没想到被撒了一把狗粮，讲的是他和初恋/第一任太太的故事，还挺感人，推荐一读（查了下甚至还有一部根据他们的故事拍摄的电影叫《Infinity》）

大家普遍对Diffusion model推导头疼。之前提到lilian weng的博客特别好，这次推荐一下中文领域我觉得写得特别清晰的博客，苏剑林的《生成扩散模型漫谈》系列（我只看过1和2），kexue.fm。他博客文章的《变分自编码器（二）》里对VAE的推导用“直面联合分布”的办法很新颖，比原始论文的推法直观易理解。
Btw，苏神是RoPE作者，LLM时代 "The only notable/impactful papers that came from Asia are ResNet and Rope right? Can't think of anything else." (twitter.com)

看第一条评论😄

咳嗽吐痰，
背心受寒，
西医说是，
小气道痉挛

作为一个小白，我觉得这个演讲最有启发的观点是RLHF as a learned objective/loss function。
为什么训练LLM时，instruction finetuning/SFT是不够用的，一定需要RLHF。这是因为一个确定的SFT training sample，是给定了一个“精确答案”的，loss function也是“固定”的（即next token max likelihood和sample给出的越接近越好）。但对于更加开放的问题，是没有一个精确的、唯一的、最好的答案的，比如“给我的6岁女儿生成一个她能听懂的解释巴以冲突的简要概述”。这种情况下，给定两个generated answers，用人类的preference去给出相对的好坏，则是可以做到的，所以需要RL来训练一个reward model，也就是所谓的learned loss function。
从ML/AI领域整体的发展趋势来看，越来越少的人工/手工干预（更少的bias），越来越多的learned parameters是未来。Deep learnin对于传统机器学习的改进，就是hand designed features -> 模型自动提取有效feature (learned features)。演讲者(@hwchung27)觉得，deep learning再进一步发展，是要从hand-designed loss function -> learned loss function，还是挺有道理的。

李诗沣nb!

想要完整理解diffusion model的推导过程，可以看看Lilian Weng的这篇博客（lilianweng.github.io），是我目前找到的推导过程最细的，“特别好”。
分享一个小tip。中间我推导卡壳的地方是 Loss从Lt最小化一个KL散度，re-parametrized 成为minimize predicted mean and real mean后，公式为什么长那样。其实很简单，就是优化最大似然，下面框里的Lt loss其实就是predicted mean的负log likelihood（让predicted mean和real mean越接近越好）。至于为什么能从最小化KL散度简化为最小化mean diff，参见李宏毅的这个视频（www.youtube.com）。
最后可以结合这里理解DDPM的简化版code实现，dataflowr.github.io（一顿推导猛如虎，最后loss很简单）

查了一下，他好像真说过😂