🤔 小模型 + 推理优化 > 大模型？

综合来看，OpenAI o1在推理阶段被推测引入的CoT乃至多agent策略，o1-mini作为小模型本身的强大能力，Andrej Karpathy对10亿参数小模型能力的笃信，以及这三篇论文对三种优化推理阶段的计算策略的验证，这些意味着什么呢？

这其实是说，过去大家提升模型能力的方式，普遍是通过训练阶段增加计算量，也就是增加模型大小或者增加训练数据量。

而现在，我们可以明确地知道，提升模型能力的路径不再仅限于增加训练阶段的计算量，小模型自身以及优化推理阶段的计算策略，都具备提升模型性能的可行性。

进一步地，作为AI生态内的创业公司来讲，通过结合小模型+推理优化以代替大模型的新思路，企业便可以更低的成本、更高的性价比来为客户提供AI服务。