llama3.1发布了,我还没试。号称是超过了gpt4o
简单表述一下个人对模型格局的观点。
1. 目前肯定是美国领先,然后llama3.1是一个milestone,开源模型首次超越了闭源模型。
在我看来长期可能就会一直超越。
2. 说一下为什么?隔壁elon musk的10万张显卡这几天投入使用了,musk是典型的开源拥护者。在硬件条件客观差不多甚至更好的情况下,meta和musk两个开源模型领头者会让开源持续领先,只要llm有用。
3. 在这个格局下有个问题,超大规模模型肯定是小公司无法selfhost,得用B100甚至更好的卡推理。所以推理众包再分开卖api的公司站起来了。比如replicate,中国可能是siliconflow
4. 另外还有可能HuggingFace或者类似公司站得更高,因为模型天然在这,直接post api是顺的
5. 但是模型不仅仅是host跑一下就完了,今天模型不稳定fine tuning的人还不多,为啥RAG?说白了不就是“一劳永逸”,长期来看这俩事情应该并存。所以类似AWS Bedrock的服务有的关注,不过我对runpod,paperspace等持观望态度,原因就是我中小B租不起一张大卡,大B直接买就行了没必要租。有点尴尬。不过也还好。
6. Runpod和paperspace我理解就是AI的云厂商,有这个势头了。(云厂的钱不怎么来自中小你懂的)
最后,Replicate靠谱。
最牛逼的业务一定是to中小的。