今年的 ICML 也是最火爆的一届,不仅有两场 K-pop 女团,还有满屋子的优秀 researcher,以下是 一些醒哥的 AI 观察 highlight:
1)模型公司正在"吃掉一切"
如今做AI应用的朋友都有种“宿命感”:很多东西,大概率会被下一版模型顺手覆盖,而模型取代这些环节的速度还在加快。护城河蒸发的速度,正快过挖掘的速度。
2)学术顶会,也是AI竞赛的战场前线
之前在美国办的NeurIPS,签证就会筛掉一批中国面孔。这次在首尔,全球关键玩家到的格外齐。如果今年Anthropic成功上市,那么钱的闸门就在美国打开,上市融来的千亿美元可以直接换成算力。海外GPU一年翻五倍,中美今天差十倍,两年后可能再差一个数量级。
3)两家公司,一个国家
而无论缺卡还是缺电,所有人都缺同一样东西——HBM。三星和海力士未来三年的净利润,能覆盖韩国全部政府债务还有余。当然这也是韩国社会K型分化的开始,首尔是最极端的样本。
4)AI论文大爆炸,正在冲垮传统学术机制
今年ICML投稿量创纪录,审稿系统过载,497篇论文因审稿人偷用AI写评语而出问题。这个会本身就像一个巨大的Transformer:两万多个token,挤在同一个context里,争夺attention。ICML最先遇到的不是算力瓶颈,是人类版的KV cache overflow。
5)一个颠覆arXiv的idea
如果未来科研的主体从人变成AI,"论文+arXiv+同行评审"这套人类界面,就该被重做成一个"可运行、可组合、可自动评测"的科研平台。这个平台大概长这样:把 arXiv、GitHub、Hugging Face 合体,科研在上面发生、实验在上面跑、评价也在上面完成;成果之间留好接口,像模块一样可组合可拼插。颠覆arXiv这件事太有意义,欢迎有同感的朋友一起做。
感谢晚点发布~