The Information:
- 在Anthropic打击蒸馏并卓有成效之后,GPT-6 Astra成了被蒸馏的新宠模型。
- Kimi K3.1 Pro和DeepSeek V4.1-Flash 1017都对GPT-6 Astra进行了不同程度的蒸馏;
- OpenAI也开始效仿Anthropic,加大了对蒸馏行为的识别,而来自蒸馏方的线索则是,相比之下,OpenAI的模型仍是更容易被蒸馏的那个;
- 但要从中收集可用的训练数据,需要的提示数量是正常使用的10倍以上,为了避免触发检测,蒸馏方必须使用大量账号;
- 据说梁文锋起初不想在研发新一代DeepSeek V4模型时采用蒸馏方式,但在看到智谱等国内竞对取得成功后,他还是妥协了。