花一周时间,帮同事“兜底”
仅做吐槽记录,无其它引导,事情原委如下。
两个多月前,接到个功能需求:“审核用户上传的文件内容,判是否有足够证据支撑满足条件”
1. 文件类型:任意办公文件(Word、PPT、Excel、PDF)、图片
2. 文件数量:可能成百上千 —— 对 AI 来说上下文未知
3. 不规范:无法规范目录结构、文件名 —— 无法用结构化,对数据做初筛
4. 可溯源:能找到 AI 结论的支撑来自哪份文件、哪个位置
领导将它派发给同事负责,关于技术实现可以询问我:采用知识库 Weknora 实现 —— 基于当时认识,需要看源码确认知识库实现是否溯源,
他认为(或许尝试过)知识库无法「溯源」,同时审核不够准确 —— 参考我们另外一套使用 OCR 技术实现溯源,但反复提过评测审核无法借鉴。
他还是采用 OCR 对文件扫描,这带来一个问题,如何实现上面 4 个功能需求?当时还不是这么整理的,他可能没考虑到。
于是按照:结构化目录分类,单次请求 LLM(大模型)接口审核程序筛选出的文本。
领导也认为,他开发的完成了,便去负责另一个项目。
我接手后,并不想管如何实现的,但发现完全不可用,根本没有考虑以上 4 种情况,比如:用户上传的文件,不遵循目录结构、文件名。就成了死代码
一气之下,全部重构掉(毕竟我是这个项目的负责人,从0-1开始做的)。
涉及 5 个代码仓库,最终修改近 5w 行代码
——
“AI时代的分水岭:如何让 AI 执行 1小时以上”。
> 这是METR在2025年发表的一篇论文中,提出了衡量AI“任务完成时间跨度”的指标。该研究发现,当时的前沿模型(如Claude 3.7 Sonnet)能够以约50%的成功率,完成人类大约需要 1小时 才能完成的软件工程等任务。
再次记录 1小时 分水岭,竟是这件事哈哈哈