补充下7，生成数据会成为主流。

生成数据的熵会有问题，未来在模型训练前，如何区分人类写的数据还是AIGC数据(尤其是自己前几个版本的生成的数据)会成为一个新课题。

没这个问题，后面都是真多模态数据。

Llama 3.1发布致辞中扎克伯格说从明年起Llama将成为行业最领先的大模型。
我认为这会发生，因为[图文]大模型[上限]最高的公司，是持有完整数据上下文、弱运营的公司，如 instagram、twitter、微信。
去年十月份写的这篇详细解释了为什么

回归常识看国内大模型：七分数据三分算法

ex豆瓣 全栈pm 傻子 有时候不很二，喜欢有张力的人和事

来自圈子