吴恩达三言两语,就把 Loop Engineering 说清楚了。

AIGC行业资讯5小时前发布 zhang
1 0

吴恩达果然厉害。前两天在他的 Newsletter 中,短短几句话就把 Loop Engineerring 这个新词的本质说清楚了。刚看完他的文章,结合着说下我的理解。

1、如果用一句话来总结的话,Loop Engineering 讨论的其实是,如何让 AI 像工程师一样,一边干活、一边验收、一边返工,直到达到要求。

一个程序员标准的写代码流程是这样的:写完代码、运行程序,然后发现 Bug,紧接着修改代码,继续测试,直到没问题为止。

现在越来越多的 AI Coding Agent 已经能够自己完成这个过程。

给它一份产品需求文档(Spec),再给它一套评测标准(Eval),Agent 就会进入循环:写代码 → 运行测试 → 发现问题 → 修改代码 → 再测试。

如果测试没通过,它会继续改。如果功能不符合需求,它也会继续改。整个过程不需要人工介入。

2、Loop Engineering 这个词听起来挺唬人,但核心思想其实并不复杂。以前我们给 AI 提需求,更多是在描述想做什么。

现在还需要提前告诉它,什么叫成功、什么叫完成,以及如何自动判断有没有完成。

这也是 Spec 和 Eval 存在的意义。有了这些标准,Agent 才能自己写代码、自己测试、自己修 Bug,形成真正的闭环。

3、吴恩达认为,如果把视角放到整个软件开发流程里,大家最近讨论的 Loop Engineering,只是一小部分。

所以他专门画了下面这张图,把软件开发拆成了三个嵌套在一起的 Loop。

吴恩达三言两语,就把 Loop Engineering 说清楚了。在 Coding Loop 之外,还有第二层循环,叫 Developer Feedback Loop。简单理解,就是开发者不断调整产品的过程。

Agent 负责实现需求,开发者负责修正需求。

当我们看到一个功能真正做出来之后,经常会发现自己一开始想的和真正想要的并不是一回事。

于是开发者会重新修改需求,再交给 Agent 继续开发。这个循环的速度通常比 Coding Loop 慢得多,可能几十分钟,甚至几个小时才会发生一次。

但它决定的是产品会长成什么样。其实这部分讲的就是 Builder 要决定做什么,以及产品会长什么样。

诸如一个按钮放在左边还是右边,Agent 可以帮我们实现,但判断还得自己做。

4、在这层 Loop 还有个误区,很多人以为,开发者脑子里只要有了清晰的产品愿景,剩下的事情交给 Agent 就行。其实完全不是。

一开始,我们会先写一个大概的 Spec,交给 Agent 去实现。

等第一个版本做出来,自己真正用了一遍之后,往往又会发现:原来我真正想要的,并不是这个。哈哈哈,我就经常经历这样的过程。

于是再回过头修改 Spec,把之前没有想清楚、没有表达清楚的地方补充进去,再让 Agent 继续开发。

如果发现 Agent 总是在同一个地方犯错,比如某个用户流程总是走不通,或者某类输入总是处理不好,这时候就需要补充一套 Eval,把这些容易踩坑的场景固定下来,作为以后每次开发都必须通过的测试。

或者这么讲,第二层 Loop 就是不断校准自己的认知,并将这些理解逐步沉淀进系统之中。

5、我记得去年参加一个活动时,大家讨论过一个话题:如果 AI 的品味越来越好,是不是以后我们只需要说一个想法,它就能把整个产品做出来,人几乎不用再介入?

吴恩达说自己不太喜欢品味这个词。他觉得,相比 AI,人类真正的优势不是品味,而是拥有更多的上下文。

比如,我们知道用户是谁,知道他们的真实使用场景,也知道他们到底在为什么事情烦恼。这些信息很多都不在模型的上下文里。

只要人手里还有 AI 不知道的信息,就必须有人参与到这个 Loop 中,把这些关键信息持续注入系统。

所以,Developer Feedback Loop 很难完全自动化

6、最外层的 Loop,说白了就是获取真实世界的反馈。前面两层 Loop,解决的都是实现层面的问题。

而到了这一层,关注的是这个产品方向到底对不对,以及我们接下来要做哪些功能。

通过了解用户的反馈、分析数据或者研究竞品的产品等等方式,我们需要不断修正自己的产品判断。

诸如这个功能到底有没有必要做?用户真正的痛点是不是这个?产品是不是应该换一种交互方式?甚至,我们是不是一开始就选错了方向?

真实世界的反馈会不断影响开发者的判断。开发者再把新的理解更新到 Spec 中,交给 Agent 继续开发。这就是三层 Loop 之间的关系。

7、非常透彻。所有对 Loop Engineering 有所困惑的同学,都应该看看这篇文章。

文章链接:

https://www.deeplearning.ai/the-batch/issue-359

最后,再画蛇添足一句,我感觉这些新词,真的就是换了种说法而已。之所以能爆火,核心还是因为这些概念,精准击中了目前 AI 行业正在发生的变化。

要我说,Loop Engineering 就是递归式的自我提升。Keep Building。

© 版权声明

相关文章

堆友更新