我认为模型之间的对比需要从更多的方面考虑，全面测试才能说明差距有多大：

1️⃣对于知识性或事实性的问题，要考虑广度和深度，涵盖不同的学科，不同级别的知识。抽样测试的数量也得足够，否则数据也不会准确。
简单的知识性问题，是模型是否能处理后续复杂任务的基础，并不是其目的，除非加入联网能力，否则在这类问题上是比不过搜索引擎的。而在联网的情况下，推理能力与context更为重要。

2️⃣多轮对话的能力，即context的长度。对话这种交互方式之所以存在，是因为人很难在一开始就准确描述好自己的需求，模型也很难一下子就给出想要的结果，于是才需要不断地沟通。如果context很短，导致无法进行多轮对话，这样的模型用处不大。
另外，训练的数据集中，一个知识点可能会存在好几个不同甚至矛盾的答案，长对话能让用户引导模型说出更准确的答案，模型也才有能力改正。
在很多使用场景中，从简单的总结文章，到模型能使用外部工具，context都是极为重要的。

3️⃣编程能力，这是尤其关键的一点。首先是因为编程本身就是一大使用场景，就我个人而言，我用ChatGPT有75%以上都是让它写代码。
而且编程能力是应用生态的基础，没有这个，plugin就无法实现，其能力将大大受限，很难扩展。

4️⃣推理能力，这个不用多说了。现在模型已经可以获取外部数据了，推理能力便比简单的知识性问题更为重要。而推理能力的测试也需要考虑更多方面，数学、语言等等。

5️⃣多语言能力。翻译也是模型一大使用场景了，能不能做好翻译，准确理解英语，也是很关键的。从用户群体来看，使用模型的人大多是知识工作者，而知识工作者很多时候要用到英语。
另外，用中文测试ChatGPT其实也不准确，因为它的英语表现会更好。

#️⃣更多的还有： 
1.成本，这是能不能落地的关键因素。GPT-4短期内还不能完全推广开的原因就是成本太高了。
2.多模态支持，这个就咱不考虑了，毕竟GPT-4也还没把图片功能公开。
3.性能，输出速度快慢。
4.回答是否简洁，废话太多会消耗有限的context，也会增加成本。

我没有试过国内的模型，所以我不知道它们在这些方面实际表现如何。但从网上公开的截图来看，大多数和GPT3.5都无法进行比较，Bard也不例外。

估算咖啡馆的问题，为什么文心一言和GPT3.5的回答是一模一样的？

“每个魔杖都会有它独特的材料和芯芯”🐶

每只鸡有四只足，每只兔有两只足，牛逼牛逼

通义千问、文心一言、ChatGPT（GPT3.5）和 ChatGPT（GPT 4）对同样 9 个问题的回答。

几点个人判断：

- 从两个大模型的效果看，既然 ChatGPT 已经探索出来了路径，后来者模仿的成本并没有想象中高，至少对大厂来说。1-2 个月的调试就能达到看起来还凑合的水平。过半年到一年，也许就能缩小差距

- 有 NLP 积累的大厂速度更快。后来者只要有钱也未必没有机会。军备竞赛对创业者和用户来说是好事儿，成本会压低，找场景早点切入会更有价值。

🍵 原叶茶「三五杯」联合创始人  🎙 播客「三五环」「半拿铁」主播

来自圈子

AI探索站