The information最新发文:模型增强变缓,Open AI正在改变策略
* 尽管Orion 在训练初期已经达到GPT4水平,但在部分特性任务上表现不如之前的模型可靠。比如语言类任务更强,但编程水平有所下降。
* 似乎印证了Scaling law不再奏效,其中一个重要原因是目前能取到的数据已经到达极限,导致Orion使用了部分合成数据,而这导致了模型的过度拟合。
* 扎克伯格等表示目前的模型水平在构建C端和B端AI产品上仍绰绰有余。
* 为了解决这一难题,Open AI从强化学习、人类反馈强化学习、如o1这样更长推理反思的test-time compute入手努力。
*目前o1在已经开始帮助数学家和科学家做科研,但由于模型成本过高,无法有广泛的市场。
有人评价说Scaling Law称之为law并不准确,更应该是Scaling hypothesis,研究人员和企业在利用人们对摩尔定律的理解。