即刻App年轻人的同好社区
下载
AI的下一阶段，不再是「算力战争」，而是「Context Memory 战争」
最近跑Multi-Agent投研系统，一个发现让我彻底改变了认知：
GPU还没跑满，内存已经先崩了。
真正吞噬内存的不是模型本身，而是KV Cache——大模型推理时每生成一个Token，都要缓存Key和Value。百万Token上下文+高并发，KV Cache轻松膨胀到数百GB甚至TB级。
HBM快但太贵，不可能让所有数据住进去。AI被迫进入「分层内存时代」。
这就是CXL（Compute Express Link）横空出世的背景——它让内存从「绑定资源」变成「共享资源」，Multiple GPU/CPU可以共享一个巨大的外部内存池。
反直觉的是：CPU正在迎来结构性复兴——谁来当内存池的超级交警？必须靠CPU。
当市场还死死盯着英伟达K线图时，一场更底层的架构变革已经开始了。
#AI #CXL #MemoryWall #KVCache
最近跑Multi-Agent投研系统，一个发现让我彻底改变了认知：
GPU还没跑满，内存已经先崩了。
真正吞噬内存的不是模型本身，而是KV Cache——大模型推理时每生成一个Token，都要缓存Key和Value。百万Token上下文+高并发，KV Cache轻松膨胀到数百GB甚至TB级。
HBM快但太贵，不可能让所有数据住进去。AI被迫进入「分层内存时代」。
这就是CXL（Compute Express Link）横空出世的背景——它让内存从「绑定资源」变成「共享资源」，Multiple GPU/CPU可以共享一个巨大的外部内存池。
反直觉的是：CPU正在迎来结构性复兴——谁来当内存池的超级交警？必须靠CPU。
当市场还死死盯着英伟达K线图时，一场更底层的架构变革已经开始了。
#AI #CXL #MemoryWall #KVCache
寻找下一个“英伟达”：AI 产业链革命进入新阶段，谁能登上Context内存战争的王座？
1 00
前天参加了个活动，感觉它这个思路是对的，如果是toB行业，必须要考虑从为人做产品转为为Agent做产品，把Agent接入到流程中来，SaaS的护城河在企业的数据积累和生态开放性。
软件的使用主体将不再是人类：AI+项目管理，toB软件行业一个时代切换的信号
AI时代的产品经理手册
0 00
复盘去年做得一套估值系统
AI时代的终局之战（上）：AI投资六层塔与巴菲特购买Google背后的四个投资真相
0 00
透过现象看本质，从claude design看全球价值投资的行动指南
Claude Design 背刺Figma，打工人的饭碗与财富正在被折叠
AI时代的产品经理手册
1 00
新写的文章，从claude design看全球价值投资的行动指南，欢迎指正。
Figma惨遭Claude Design背刺！从价值投资角度，看透“硅基复利”的残酷三层模型
0 00
