如果把 当前AI浪潮 和上一轮的移动互联网浪潮相类比的话,AI的瓶颈应该是最大上下文,类似于之前的网速:之前一两百K的上下文,只能支持简单的对话聊天、生成部份代码,当上下文来到百万级之后,才能开始进行大规模长时间的工作。就像2G时代只能发短信文字,到3G时代的图片。
移动互联网的4G诞生了抖音微信等一大批的杀手级产品,那AI时代的4G会是什么样子呢?
继续引申,在网络上传输音视频,中间诞生了很多的压缩编码算法,以支持在有限的网速下传输质量最好的数据,那AI时代的上下文压缩技术继续发展,应该是可以在1M的基础上实现10M的效果。