武当派、大模型,以及月球
众所周知,武当派有一门绝学叫“梯云纵”,
左脚踩右脚,右脚再踩左脚,可以无限爬升。
今天的大模型,也正在出现类似的趋势,
它开始可以通过 Self-Training、自生成数据、自我评估、自我反馈,不断参与下一轮模型迭代。
那领先的模型,会不会一直领先?后来者如何超越?
换环境!“梯云纵” 在地球上,一次只能上升一层楼。但如果换到月球,重力变小,可能一次就能上升六层楼。
大模型也是一样。
同一条技术路线里,领先模型确实有巨大优势,一旦新的框架出现,新的范式成立了,后发者就可能用同样的努力获得更大的跃升。
悟空在地球训练,和在界王星上训练,结果天差地别啊~