站在云的视角,因为蒸馏技术,基模目前看起来没法拉出显著差距了,大家模型各有优劣的情况下,toc将决定谁能笑到最后。而tpu带来的成本优势越来越显著,google不仅是受到nvidia剥削最少的云厂商,还因为垂直整合的原因,以nvidia的GPU架构很可能会被tpu甩开(tpu v4就搞液冷了,上半年可能是v6e?据说训练成本是openai用nvidia成本的1/5)。这导致了现在100万的context,只有google敢随便拿出去给用户用。如果后面软件生态也好起来(jax+vertexAI),tpu v7放开卖,这个垂直全栈只会越滚越快。
至于应用,搜索引擎+youtube+map+android+workspace(gmail/docs),一个爬虫起家的公司,数据也有显著的优势。
算法、算力、数据都有光明的前景,随着整合程度升高,时间倾向站在google这边