很久没看见对标赶超了,大家都挺(不得不)务实的。没想到,最新一个宣布对标赶超OpenAI的是Kimi。
K0-Math 宣布在中考高考考研和竞赛四项数学能力准测试的评分超过了OpenAI o1,这事儿意味着几点:
1. 历史上Kimi从来没搞过对标,更没打过榜,我写过文章说它们的第一性原理就是Model as app,拿模型(无论是不是自己预训练的)当爆款做,不求解决所有问题,解决一两个关键痛点(长文本理解)就胜出了。但现在,大家都不怎么打榜了,都埋头干钱难挣屎难吃的事儿了,Kimi 倒开始打榜了,开始宣布赶超 OpenAI了,这事儿就有点....emmm 有意思了。
2. 这个对标是值得商榷的,OpenAI 的o1从来就不是一个数学模型,而是一个深度思考模型,是一个通用的foundation model,因为其CoT能力,擅长解决数学问题,却不一定针对数学做了大量的调优,但K0 Math是一个纯数学的MoE模型,与o1拼数学是不对等的。
3. K0 Math highlight了大量的基于reinforce learning 的实践,但没有讲它是怎么做预训练的,只是在回答我们的问题时候说“是自己做的”。当然了我们10月初的时候也问过OpenAI的某位著名女亚裔高管o1的预训练问题,她也表示这个事儿不可说,但好歹我们是知道GPT是怎么做预训练的 。可是,没有人知道Kimi是怎么做预训练的,更不知道这次数学模型的预训练是怎么做的。也就是,没有预训练公开经验的Kimi,它的数学模型是更擅长打榜,还是更擅长解决实际问题,which is still open to debate.