如果让我自己思考AI产品的infra和agent，那infra大概是搭建、评测、观测。
在这三个词上
• 搭建：模型节点和依赖资源、非模型的代码节点，运行的框架以及发布的渠道。在资源部分会有模型、提示词、mcp、知识库、skill
• 评测：端到端、节点级别，再加上评测集、评测的指标、和能够运行的任务，指标层面会有代码、模型评分，前者是绝对性、后者是开放性
• 观测：输入输出、质检评分、用户反馈，以及状态、成本、耗时。
到了agent部分
• 框架：是agent还是工作流
• 模型：每个节点承载什么事情，用什么模型、提示词
• 依赖：知识库，然后知识库要怎么解析、切片、召回、过滤、重排；mcp/skill，具备什么能力，要怎么使用
• 思考/规划：要不要思考，要怎么制定计划
• 上下文；存储、丢弃、压缩、转记忆
• harness：沙盒、审批、重试、安检
• 会话：会话调度策略，怎么进线、要不要合并还是串行，要不要给响应，怎么输出
• 记忆：什么才算记忆？
• 体验：定制化的消息格式、快捷工具、agent路由，推荐的问题
大概是这些，然后就是无尽的优化

AI产品必学的提示词技巧

朋友们，俺开发了一个AI 工位的整理器。

在同时指挥多个AI，或者开启多个任务的时候，电脑桌面会变得特别乱。

它可以在 Mac 上一键整理终端窗口：并排开工。或者按比例分区，一边留给 AI，一边留给自己，这样在处理别的事情时，也能够及时看到AI的打工进度，避免耽误AI的时间🐶

虽然知道有好多解决方案，但还是想用自己更顺手的，也许未来是面向自己编程？代码在Github上开源啦，欢迎朋友们一起玩，祝愿朋友们能开更多工位给AI打工，烧光AI套餐的限额。

未来所有的文档都应该 JSON 化。因为文档的第一读者，正在从人变成 AI。PRD、FAQ、周报、分析，要慢慢变成结构、字段、规则和边界。

新年要解决两个问题，要有更多的体系化输入，电台、新闻替代不了书籍，每天的AI模型工具把自己的注意力都拿走了，这样不好，而且很容易陷入过于底层和技术，却忘了用户要什么

AI产品真是越来越难做了，很多工作经常会被模型的能力给迭代掉，调了很久的提示词，不如模型进化变得更聪明一些，不如更好的agent机制，于是只能尽可能的做原子级别的知识库以及工具。

这也是之前踩的一个坑，调优AI产品还是先测模型。而且真的要足够快，拖个一个月两个月新的模型又出来了，然后很可能推倒重来。

另一个矛盾点，是现在的代码、产品好像不再像以前那么优雅了，大模型的节点是很不标准化的，一个LLM节点可能承载了特别多的工作，所有的东西都耦合到了一起，为了效率和性能不断试探模型的边界，现在要开始用写代码的方式写提示词了，不然后面也越来越不好改。

现在用提示词输出的都是json，用json和研发合作，于是我也要写类似接口协议的东西，咪的天，我也是让AI写的，真的越来越懒了。

1、你的碎片时间正在升值，用AI处理文档比咖啡提神更高效
2、未来胜负手不是模型强弱，而是谁能把AI调教成"懂你的副驾驶"
3、下个超级入口可能是你戴的交互设备
4、最核心能力变成：定义问题+结果审核

Anthropic的博客解读，AI Agent从60分到90分靠追踪+评测。

核心方法：
1. Trace系统全链路追踪问题；
2. 代码+模型+人类三重评分器；
3. 按场景定制指标。

行动项：建测试用例库，持续优化。

在AI对话框里改提示词就像赌博，改完看着没问题，一测就翻车。

我说放宽约束，结果它顺手删了Few‑Shot，受够了人肉 Diff，开发了2个skills

改：只改指定范围，先确认改法，改完自动 Diff 自检，避免误删/冲突。

创建：判断复杂度→选框架自动输出，复杂需求调用向阳乔木老师的元提示词。

最近做的AI扫盲分享，先了解用模型还是训练模型，2者要的知识完全不同。

分清楚代码和工程，AI不是万能的，知识库切片和召回的策略对效果影响巨大。过于依赖AI，要关注性能成本，保障可以规模化

做好追踪，搞清楚自己AI产品的评测集、指标，没有评测基准，调优都没办法。