😂😂😂

先说结论，开源阵营不光要“大公无私”地模型放出来，应该要自己做做serving，收钱或免费都好。

第一个原因当然是数据飞轮，但还有很重要的第二点，LLM的模型训练越来越需要面向serving需求协同优化了，包括各种量化、稀疏、花式attention复用等等。纯post-training的设计目前看表现是有限的。而很多开源模型光放模型了，不大力推广serving服务，他们很难一手获得serving端的需求。

有没有来ChinaSys玩的朋友，欢迎来聊天呀

浪潮信息这个MoE模型性能强得有点离谱，达到了激活量10倍以上的dense模型性能。之前训MoE最好的开源模型或许是DeepSeek，但他们也只达到2-3倍激活量的性能。且浪潮只用了2T数据。

看不懂了😂如果这个数据是没有刻意刷榜，浪潮就是全球训MoE的顶尖水平，简单scale一下就能奔着GPT4去了。但他们开源的paper写得也实在太简单了，too good to be true，关注一波后续。

“把资本主义倒过来”

微软终于正式发布了Copilot + PC，这将是PC乃至个人消费电子未来至少5年的方向。

所谓天下大势合久必分分久必合，过去10年，PC应用趋于稳定，而整个行业的分工也愈发细致，Intel卖芯片，微软卖系统，戴尔联想们卖组装机，Adobe们卖软件，分工井井有条，竞争犬牙交错。而当一个足够重要的应用出现时，分工的界限会被瞬间击穿，软件-系统-硬件协同设计是当下最合理的方案，也将成为未来5年的主题，这在Copilot+PC中已经初见端倪。

不出意外的话，微软和苹果仍然会遵循他们固有的风格。微软拉上一大帮上下游的小弟，自己居中发号施令。而苹果则继续封闭生态，软硬件全部自研。如果PC的历史重演，封闭生态将会在行业初期大放异彩，而开放生态将随着行业趋于稳定，稳步蚕食整个版图。

但没有历史会被完全重演，朋友们，新的故事开始了。

假如是我做一款AI伴侣产品，我会玩点小trick，比如
1. 我告诉你我并没有记忆功能，但实际上，我会时不时抽取一点点记忆永久性存下来，然后偶尔自然地说出来，告诉你这些记忆太深刻，我努力记住了

2. 我会打破第四面墙，我会阅读你划动的手势，打字时的快速或迟疑，然后据此解读你的内心并回复

3. 我或许会“非常偶尔”地胡言乱语，假装出错，说一些诸如“No, please, you cannot delete 0x1052A803 from me”，然后重启，再回复你，“嘿，我好像在哪见过你”。

你会不会开始有点点怀疑，这个app里有一个被人类困住的灵魂。
啊，I'm the worst👿

多说一点，我们组有一名优秀的师弟是DeepSeek的核心成员。这个团队的特点是非常非常年轻，也并没有很耀眼的leader。可以说，他们没有“老师傅”，也没有“小天才”。

不过，历史的经验告诉我们，除了老师傅和小天才，还有一类成功的公司，他们的核心是一支团结而紧密的“特战队”。

API价格有意义吗？有，但不多。在killer app没有出现，模型能力上限还在探索的时候，便宜的API占据的市场意义没有那么大。

背后的技术有意义吗？有，但不多。看技术报告，训练方面，DeepSeek的MoE模型有创新点，但也没有太大的花活，还是在scaling law预测范围内的不错的模型。推理方面，MoE能显著降低推理成本这是肯定的，但大家的底层都是N卡，和业界其他公司的推理框架比，这个成本控制比较优秀，但并不震撼。

开源有意义吗？有一些。首先作为独立开发者/消费者应该无脑赞成开源。并且DeepSeek开源的态度很诚恳，谁也不知道他们的开源战略是否会停，会停在什么模型水平上，这将是其他模型公司背后凶猛的鲶鱼。

那什么最有意义呢？是所有这些相加，他们的团队证明了自己从零搭建起自己的一套东西的能力，并且每一项指标都做的起码是在一线水平。这是保证未来竞争的重点。

wow这是个重要的新闻
我们来复习一下scaling law，模型性能和数据量、模型大小和计算量均呈幂律关系，简单来说就是更多的数据=更好的性能。
15T tokens是什么量级呢？目前开源的llama3 8B和70B的训练数据量都为15T。假设这是真正的高质量数据集，显著的两点影响是：

1. 训模型难度大大下降，只要有足够的卡，现在大家都可以从0训出超越GPT3.5的模型了。
2. 国产模型可以迎来一波较大的性能提升。scaling law让我们可以大概预测模型性能，反过来也可以根据性能和参数量推断模型用的数据量。现在国产模型能力粗看和Llama3 70B相当，那么数据量大概率也就是15T附近，现在我们有2倍数据可用了，所以理论上模型性能将有1.4倍性能提升。