未来是RWKV这种新RNN
已经是共识

RWKV是全球首个RNN大模型架构
RWKV-7已超过所有Attention的表达力
RWKV运行库已被官方安装到windows中

RWKV是最适合System2的架构
可以做非常长的CoT，速度和显存不变

RWKV也是最适合System1的架构
参数变大，Hidden State也会变大
已有海外团队训出70B模型

基于transformer的65B 训18T，接下来没scaling law了

现在对行业最有价值的
1、能把大模型部署在端侧，每一台电脑都是AI服务器
2、云端token成本要低于互联网带宽成本
3、系统2 模型全面开源，包括数据

国内搞大模型训练的
是不是都被字节面试过了
人民币玩法啊
其他几家没法跟啊
搞量化的也不会这么挖吧
🐶

在做局的路上越走越远，已经忘了为什么要开始。

还需要多少个“中国版OpenAI”？
1、技术边界有重大突破么？
2、有带来增量市场么？
3、现在赚钱么？
如果和以上3点没关系
那就是做局😄

花多少钱在预训练上
花多少钱在渠道和PR上

国内的AI们
与其说是做生态
不如说是做局

我去年搞AI社群、自媒体和活动
是希望帮大家找到AI创业的机会

但没想到
现在很多人的AI创业
就是做社群、自媒体和活动
…

✨征集和RWKV的合作

1、用RWKV端侧模型做toC应用，替代云端模型的API。文本生成、角色扮演、游戏、编程等等

2、用RWKV发论文，替代transformer和mamba。多模态、具身智能、类脑、蛋白质生成、基因序列等等

可以直接联系我
微信：jadexlaw
邮箱：luoxuan@rwkvos.com