感谢认真回复,稍稍讨论下,不一定对,求同存异~
1.因为是预测,所以我的假设是未来权重更新的成本会很低:
其实如果是自己用,现在类似lora的方式,给模型注入信息量的成本也不高,是成熟的技术。
现在的算法圈子里,非顶级玩家,基于开源模型继续训练(finetune也好其他也好),大家其实玩的很开心的,我的经验是想让模型"智力"通过finetune提升这很无力,但注入新的信息量没啥问题。
也是基于lora的思想,所以我在图中画了个副网络,降低权重实时更新的成本,而且我更倾向于未来会有更有效的方式,比如现在的moe,专家为啥不可以优胜劣汰[旺柴]。(已经有这方面工作了)
哦还有一个是,可能在我个人的视角,大家常说的大语言模型,多模大模型这些,算法角度这都是一个东西,网络结构训练范式都没有本质区别,为了方便理解就统称大模型了。且我相信未来(肯定)都是要多模态的,我个人会说肯定的事情很少,但作为香农的信徒,我认为这个是肯定的,且不以文明意志转移,只是技术进程还没到。
2.可能以我浅薄的认知,尝试从第一性原理的视角思考:
人需要的不是搜索引擎,人需要的也不是应用,人创造了各种应用是为了解决问题,人需要的是解决问题,而不是各种应用。
比如:
如果我有个问题,我跟助理(agent)说一声就解决了,那我就不需要搜索引擎。
我想吃麻辣烫,我跟助理说一声就ok,我就不需要作为应用的美团
我想写个程序,我跟贾维斯说一声就完事了,我就不需要cursor(ide)...emmm,未来需不需要写程序都是个问题。
所以可能我觉得,当前的应用,未来可能会把"前端"页面退化掉,京东变成物流api,美团变成外卖api,变成给agent用的一个个工具,他们也许没有分配权,从产品角度来讲他们会变成供应链模型。
理论可能一夜颠覆,但落地的技术是循序渐进的,所以当前会出现从vscode变化来的cursor。就像内燃机刚发明,汽车的样子是从马车演变过来的带轮子的沙发,但现在的汽车不长马车的样子。如图(来自google图片),历史角度我觉得现在的AI应用,和这个内燃机"马车"没啥区别。
---
but:预测是预测,但这也丝毫不影响现在行事,该用cursor还是点开开心心地用,遵循当下的进程[旺柴] //
@易凡: 这里有几个值得细究的地方
1.如果“大模型”是指“大语言模型”,那本身其实是无法做动态推荐系统或动态搜索系统的,因为大语言模型的权重更新成本太高,而搜索引擎和推荐引擎的数据更新太频繁
搜索系统/推荐系统未来会和大语言模型做深度融合,但还是会基于传统的搜索引擎/推荐引擎做迭代
2.如果“大模型”是大语言模型/多模态模型+搜索/推荐引擎一起,那另说。
未来可能的变化点:搜索引擎toC的大部分流量被推荐引擎和大模型应用抢走,逐渐转为toB的基建。而B端对搜索结果的质量远比C端高,搜索引擎再难投放广告收割有信息差的用户(即“恰烂钱”)。但搜索引擎本身不会消失。
3.大模型作为基础设施,未来也不会直接面向大众。面向大众的是各个具体场景的大模型应用,比如cursor、秘塔、ima等等应用。
因为基底模型必须做得很通用,这会导致用户在描述具体问题是需要加载很多私人数据、环境及背景信息来“预热”(这也是早期prompt engineering存在的原因)。
但为了更快更聪明地服务用户,思维链、tool use协议,这些是大模型可以做的;私人数据、环境及背景信息,以及融合这些能力的UI,是大模型上层的应用做的。(我同时反对说大模型会让GUI不存在,聊天框其实是一个很简陋的过渡品)
而这些大模型应用才会直接掌握用户数据、注意力窗口,才有投放广告的权力。