DeepSeek-R1 的最佳实践是“只进行一轮对话”。
多轮对话会让输出结果的形式远大于内容。
之前也有一篇文章谈到 openai 的 O1 不是聊天模型,而是一个报告生成器,但文章里并没有提到深层的原因。
今天经过高强度多场景的使用,我觉得原因非常朴素,就是模型需要用 token 来思考,也需要用 token 来保存思考。
而 O1 和 R1 为了节省上下文,都会把思考过程从上下文中去掉,只保留对话结果。
在模型的视角里,多轮对话的上下文就变得非常跳跃,且信息密度极大。在下一次推理时也只能捕捉到形式上的规律,丢掉了最开始的思考。