《11月上半月思考🤔》
1.AI 评测正在走向 Agent-as-a-Judge。
以前评测 AI,更多是把问题和答案交给另一个大模型,让它一次性判断好坏。
但随着 AI 能完成的任务越来越复杂,评测方式也在不断进化,大致可以分为三个阶段:
第一阶段:按流程评。不再依赖一次性判断,而是把评测拆成多个步骤,增加交叉检查、复核等环节,提升评测结果的稳定性和准确性。
第二阶段:融入环境评。让评测 AI 接入更多工具和真实运行环境,不再只是判断结果好不好,还能追踪任务执行过程,定位哪个环节出了问题,以及为什么出错。
第三阶段:自我进化评。不再完全依赖人工制定的评分标准和工作流程,而是从历史评测中总结经验,持续优化评测标准和方法,让评测体系本身不断进化。
从判断结果,到理解过程,再到自我进化,AI 评测正在从一个简单的打分工具,走向一套持续改进的系统。
2.再多的思考,没有目标和验收条件,也可能只是白努力。
AI 的推理强度越高、思考时间越长,结果却未必更好。
因为如果不知道最终要解决什么问题,也不知道做到什么程度才算合格,那么再多的推理,也可能只是在错误的方向上反复努力。
实践中发现,中等推理强度 + 充足的工具调用机会 + 明确的目标和可验证的验收标准,有时反而能得到更好的结果。
思考本身不是目的,解决问题才是。