在这篇发表在《纽约客》的文章里,科幻作家特德·姜用“有损压缩算法”的比喻,结结实实地给ChatGPT及其它所有LLMs泼了一大盆冷水。
在他看来,我们看到的ChatGPT所谓的“智能”,只不过是在有损压缩算法在解压过程中不可避免所产生的artifact。
用一个比方来讲就是:一张“佟丽娅”的照片被极限压缩后,解压时候算法由于缺乏足够的准确数据,自由发挥把它还原成了“贾玲”。
从图形解压的角度来看,我们会觉得这样很离谱。
但是从文字信息解压的角度来看,这会给我们造成一种这个AI很聪明,居然能搞懂人类自然语言的错觉。
一个非常关键的问题是:OpenAI接下来是否会用ChatGPT(GPT3)生成的内容去训练GPT4,如果不会的话,那么他的这个比喻假设就成立,反之则不成立。