大家好,上个月我从旧金山去纽约参加了 AI Engineer Summit,这是 AI Engineering 里每年最值得关注的硬核会议,也是一年一度头部 AI 工程师们的“聚会”。整个三年里的体验很魔幻也很好玩,高密度的人和信息量,高效、切身地感受到了 AI 模型当前发展的阶段、瓶颈以及各领域里“大家都在做什么”。
本文总结来自现场 Anthropic、Arc、Every等团队的分享以及“怎么做AI Memory”的第二期,把记忆训练进模型里,而不仅仅放在context engineering。包括:
1. RAG 的局限性
2. 上下文嵌入(Context Embeding): 一种保存领域数据的文本嵌入方式
3. AI Memory:如何把记忆训练到模型里?SFT、RL 、合成数据
4. 如何做模型后训练(Post-training)?LoRA、Prefix、Memory Layer
我最近也在构建一个结合知识图谱的 AI Memory 开源项目,有兴趣 contribute 的朋友可以到文末找我进行交流。