实践了几个月企业内部平台的 skill 建设,感觉最主要的也就几个事。
研发 api 转 cli 基本很少二次封装,一是成本高,二是可能细项丢失能力。所以还是直接转最方便,但实际使用,还是需要对入参做简化,出参做过滤。要不然十几个入参,出参复杂的 json 结构,对模型挑战太大。在封装skill 的时候,沉淀好脚本,支持常见场景的入参转换,和出参数据清洗格式转换。这是教会模型使用 cli/api 的第一步。
第二步,真实的业务场景,过程中多是自然语言,从自然语言到参数的转化通常需要很多额外信息,一些常见参数的信息表,可以做一层 cache 。
第三步,skill 在不同平台输出,模型和 harness 工程的差异,效果无法保障,需要准备充分的测试集,以保障在目标环境的可用性。目前 skill 跟模型的耦合还比较高,未来有可能 skill 远程托管成 agent 保障稳定性是一个比较常选的路径。
随着模型能力的发展,反过来看最有价值的是业务评测集、稳定的 CLI/API 接口、关键的入参出参处理逻辑。其余都是当下的润滑剂,可能随着模型迭代慢慢变得无用。