吴恩达三言两语,就把 Loop Engineering 说清楚了。
吴恩达果然厉害。前两天在他的 Newsletter 中,短短几句话就把 Loop Engineerring 这个新词的本质说清楚了。刚看完他的文章,结合着说下我的理解。
1、如果用一句话来总结的话,Loop Engineering 讨论的其实是,如何让 AI 像工程师一样,一边干活、一边验收、一边返工,直到达到要求。
一个程序员标准的写代码流程是这样的:写完代码、运行程序,然后发现 Bug,紧接着修改代码,继续测试,直到没问题为止。
现在越来越多的 AI Coding Agent 已经能够自己完成这个过程。
给它一份产品需求文档(Spec),再给它一套评测标准(Eval),Agent 就会进入循环:写代码 → 运行测试 → 发现问题 → 修改代码 → 再测试。
如果测试没通过,它会继续改。如果功能不符合需求,它也会继续改。整个过程不需要人工介入。
2、Loop Engineering 这个词听起来挺唬人,但核心思想其实并不复杂。
以前我们给 AI 提需求,更多是在描述想做什么。现在还需要提前告诉它,什么叫成功、什么叫完成,以及如何自动判断有没有完成。
这也是 Spec 和 Eval 存在的意义。有了这些标准,Agent 才能自己写代码、自己测试、自己修 Bug,形成真正的闭环。
3、吴恩达认为,如果把视角放到整个软件开发流程里,大家最近讨论的 Loop Engineering,只是一小部分。
所以他专门画了下面这张图,把软件开发拆成了三个嵌套在一起的 Loop。
在 Coding Loop 之外,还有第二层循环,叫 Developer Feedback Loop。
简单理解,就是开发者不断调整产品的过程。Agent 负责实现需求,开发者负责修正需求。
当我们看到一个功能真正做出来之后,经常会发现自己一开始想的和真正想要的并不是一回事。
于是开发者会重新修改需求,再交给 Agent 继续开发。这个循环的速度通常比 Coding Loop 慢得多,可能几十分钟,甚至几个小时才会发生一次。
但它决定的是产品会长成什么样。其实这部分讲的就是 Builder 要决定做什么,以及产品会长什么样。
诸如一个按钮放在左边还是右边,Agent 可以帮我们实现,但判断还得自己做。
4、在这层 Loop 还有个误区,很多人以为,开发者脑子里只要有了清晰的产品愿景,剩下的事情交给 Agent 就行。其实完全不是。
一开始,我们会先写一个大概的 Spec,交给 Agent 去实现。
等第一个版本做出来,自己真正用了一遍之后,往往又会发现:原来我真正想要的,并不是这个。哈哈哈,我就经常经历这样的过程。
于是再回过头修改 Spec,把之前没有想清楚、没有表达清楚的地方补充进去,再让 Agent 继续开发。
如果发现 Agent 总是在同一个地方犯错,比如某个用户流程总是走不通,或者某类输入总是处理不好,这时候就需要补充一套 Eval,把这些容易踩坑的场景固定下来,作为以后每次开发都必须通过的测试。
或者这么讲,第二层 Loop 就是不断校准自己的认知,并将这些理解逐步沉淀进系统之中。
5、我记得去年参加一个活动时,大家讨论过一个话题:如果 AI 的品味越来越好,是不是以后我们只需要说一个想法,它就能把整个产品做出来,人几乎不用再介入?
吴恩达说自己不太喜欢品味这个词。他觉得,相比 AI,人类真正的优势不是品味,而是拥有更多的上下文。
比如,我们知道用户是谁,知道他们的真实使用场景,也知道他们到底在为什么事情烦恼。这些信息很多都不在模型的上下文里。
只要人手里还有 AI 不知道的信息,就必须有人参与到这个 Loop 中,把这些关键信息持续注入系统。所以,Developer Feedback Loop 很难完全自动化。
6、最外层的 Loop,说白了就是获取真实世界的反馈。前面两层 Loop,解决的都是实现层面的问题。
而到了这一层,关注的是这个产品方向到底对不对,以及我们接下来要做哪些功能。
通过了解用户的反馈、分析数据或者研究竞品的产品等等方式,我们需要不断修正自己的产品判断。
诸如这个功能到底有没有必要做?用户真正的痛点是不是这个?产品是不是应该换一种交互方式?甚至,我们是不是一开始就选错了方向?
真实世界的反馈会不断影响开发者的判断。开发者再把新的理解更新到 Spec 中,交给 Agent 继续开发。这就是三层 Loop 之间的关系。
7、非常透彻。所有对 Loop Engineering 有所困惑的同学,都应该看看这篇文章。
文章链接:
www.deeplearning.ai最后,再画蛇添足一句,我感觉这些新词,真的就是换了种说法而已。之所以能爆火,核心还是因为这些概念,精准击中了目前 AI 行业正在发生的变化。
要我说,Loop Engineering 就是递归式的自我提升。Keep Building。