更好的智能和丰富的知识,可以对context进行更好的压缩,这点对人和AI都适用。
没有编程知识的新手,要让AI改代码,就需要把所有的代码全部复制粘贴给AI,因为他不知道重点是哪里。当他熟练之后,便能找出重点,只把重要的部分发给AI。
从context中提炼重点是一种压缩。对问题进行抽象是另一种压缩。冗长的问题,被抽象后可能就变得简单和普适。
为了克服GPT context长度或价格的约束,可以人为地压缩context,再发送给AI,但这就需要人类花费时间。
更强的AI可以对context进行更好的压缩,很长的context可以被不断地拆分重组提炼和压缩,这种压缩和文件压缩不同,你把一个6G的文件压缩成1G之后,你不能对这个1G的文件进行再压缩,但是对知识的压缩却可以很灵活,可以直到在最后拆分的单个问题都在context的限制范围内,于是AI可以解决所有的子问题。
在真正的智能面前,context可能不必很长。