MS最近一篇Research估计GPT-5用20-30万块H100训练130-200天，计算量比GPT-4大概多了25-100倍，真实情况肯定也不会差太远。H100的成本大概是3$/hour，这么拍的话，光电力成本就是10-40亿美元，从这个基本常识出发，任何鼓吹开源模型都是在搞笑？

看Sam最近在MIT的发言，下一代模型块发布了，叫GPT-5或者其他名字也好，没有任何理由说模型能力进入plateau，等发布的时候，预计所有开源模型看起来都像玩具:)

btw，GOOGL，AMZN，META，MSFT这四家预计2024年在数据中心上的capex超1500亿美元，这种规模其他人只能当吃瓜群众。除这四家旗下的模型，以及Elon的xAI以外，估计其他所有大模型公司在2024、2025都会被收购，或者gg。

一点llama 3 发布的吃瓜随想：

关于开源、闭源：闭源持续领先，且差距拉大。准确说来说“开源模型”=免费模型，和传统开源区别很大，集思广益那种效果很小。大模型的切换成本很低，市场逻辑就是谁家便宜好用用谁的，按目前的发展趋势，会把参与者卷死。2025年开源就等于Meta，因为其他人没钱训练了。

现在大家都在对标GPT-4，GPT-4的pre-train在22年8月就做完了，Sam说训练成本100M+，其实算不上贵，门槛高但是没有那么高。总之GPT-4这个级别开源模型还有的玩，所以现在看起来百花齐放，Mistral/Databricks这种玩家还能参与一下，但下一代基本没机会了，因为门槛直接10x。

但OpenAI的下一代模型训练成本应该十亿美金左右了，请问除了财大气粗M7爸爸们，谁还能跟上？1B的训练成本（且在有训练能力前提下）直接劝退除除M7之外所有人，现在格局非常明显：

- 第一梯队OpenAI+MS
- 第二梯队差距没那么明显：Google，Anthropic + Amazon，xAI + Elon，Meta。可能现在Google和Anthropic领先一点，Meta和xAI后发稍微落后一点。

总之都是除了M7其他人在基础模型上的参与感正在消失，开源模型在2025是什么样基本看Zuck心情，llama 4 如果不开源，其他开源模型到时基本就成玩具了。2025年格局的肯定进一步consolidate，24年Inflection已经卖给微软了，Mistral估计也离卖身不远了，或者找到欧洲大金主？

关键问题是：OpenAI和第二梯队的差距到底是拉大保持还是缩小？我的猜测：

1）Google、Anthropic、Meta不出意外永远赶不上OpenAI了，相对来说Google可能比Anthropic和Meta更领先一点，原因：1）看不到什么显著优势可以追赶，最好的人大部分还在OpenAI，且OpenAI组织文化上有优势，2）AI自我增强的优势，比如GPT-4V给图像做caption之类的，做合成数据，3）全球AI总龙头的各种buff，比如chatgpt虽然growth curve有点平了，但是总量碾压其他所有应用，mindshare强大

2）OpenAI长期看真正的竞争对手是Elon的xAI，原因：

1）xAI在23年7月成立，24年4月Grok 1.5已经逼近GPT-4了，从成立只用了9个月，这个追赶速度比所有人都快，Anthropic在Claude 3才引入多模态，Grok 1.5V已经有了，且特色metrics上表现优于GPT-4

2）Elon的tech vision、资源调配能力，执行力，组织效率、画饼等等方面基本都是地球No.1，过往的track record 大家有目共睹，蓝星最强创业者

3）一些独特的support，Tesla提供real wrold data，X现在MAU 5.5亿，有user base，且是真正言论自由的内容平台，重视truth-seeking（不woke，这点在AIGC泛滥的未来可能非常重要）

GPT-5（OAI的下一代，且先这么叫）不出意外是个leap，而不是像其他家一样还是increamenal。这部分谁都没有一手信息，只能猜：1）Sam哥哥多次在公开场合放卫星，胃口吊老高了，实际效果不炸裂实在说不过去，2）虽然7T的融资他否认了，但是微软100B的Stargate应该是真的，微软应该要先看GPT-5的能力才决定赌多大的，这种项目计划28年投运是真金白银的信心，Hassabis说Google未来也打算梭100B，feeltheagi？

如你相信指数增长，认可bitter lesson，赞同scaling law，笃定next token prediction is enough for ASI，AI大概率永远没Winter了。

目前AI应用领域的主要矛盾就是startup们对OpenAI的进展预期过于保守，而OpenAI的实际进展比所有人想得都要激进。

Gemini的Sholto Douglas说如果他们有足够多的算力，项目进度会快5倍，OpenAI的境遇只会更夸张。给天才研究员们足够的compute去run experiment，进步速度才能上来，现在算力依然是最大的瓶颈，市场对Nvidia数据中心的需求在未来三五年大概率看不到头。

此外这里能看见模型的self-improve主要是两块，以后这些loop会越来越强：

1）模型本身能力会放大和加速研究员的能力，比如写代码和做research
2）合成数据，这在未来是数据的大头

Netflix的拍的三体里面，罗辑是个黑人，这是不矫枉过正了…

Capitalism is a low AI phenomenon.

对理想MEGA黑得最狠的梗： 交车仪式不许带鲜花

马后炮地看，Transformer的涌现其实是一个必然，因为关键的building blocks前几年都发明出来了。2014年的Attention Mechanism 和 Seq2Seq是基本思想，2015年的Residual Connection提高了多层深度神经网络训练效率，2016年Layer Normalization让深度神经网络训练更稳定，降低了复杂度，2017年Transformer出现。

1）Tranformer 的里面attention/QKV都是并行计算
2）GPU计算能力突飞猛进

OpenAI很快就认准了这条道，2018年Alec Radford和Ilya做了GPT-1，后面的故事大家都知道了：
2019 年：GPT-2
2020年：GPT-3
2021年：GPT-3 API
2022年：GPT 3.5+ChatGPT
2023年：GPT-4
2024年：Sora + GPT-4.5/GPT-5 + ？？

字节买了20万块H20（英伟达给的阉割版，据说性能大概H100的六分之一），估计价格大概不到200亿的样子，the GPU in China.

AGI/ASI is the only thing matters.

AGI/ASI is the only thing matters.

AGI/ASI is the only thing matters.

2025