即刻App年轻人的同好社区
下载
App内打开
小盖fun
3天前
国内Top的研究员,创业搞自进化算力去了。

这是我这一年来听过的,配置最豪华的 AI 创业团队了。

核心成员来自 DeepSeek、Kimi、GLM、Meta、腾讯混元、字节跳动、微软等一线大模型公司的核心算法部门,而且都深度参与过基座模型的训练、推理和版本发布。

这家公司叫寰宇元心(CosmosMind)。

之前我其实没有特别理解这家创业公司在做什么。直到昨天晚上,在中关村听朋友讲了一通之后,我才意识到,他们做的事情,确实听起来让人兴奋。

大家应该都看到了,对于国内做大模型的公司来说,无论大厂还是小厂,芯片和算力一直是影响模型训练和推理效率的重要因素。

虽然国产芯片目前也在快速追赶,但实际用起来,和英伟达成熟的软硬件生态相比,还是存在不少差距。

比如,同样一款大模型,在英伟达 GPU 上可以运行得很好,但迁移到国产芯片之后,往往需要针对新的硬件架构重新适配和优化,才能把性能充分发挥出来。

那寰宇元心在做什么呢?

他们希望利用 AI,去参与那些门槛非常高的实体产业研发,比如芯片设计、光电硬件、底层算力优化等等。

过去我们经常聊让 AI 帮忙开发软件。发展到今天,这件事已经相对容易了。

但如果 AI 真能参与芯片设计、算力优化这些复杂的工程研发,甚至大幅加快研发速度,那这件事的想象空间确实很大。

我也终于明白,为什么这家公司能聚集起这么多大神了。

简单来说,他们希望利用 AI,不断提高现有芯片的计算效率,甚至直接参与设计性能更好的芯片。

从软件优化到硬件设计,都让 AI 自己构建研发的 Loop,提出优化方案,然后测试效果,最后再根据结果继续改进。

用行业的黑话讲,就是软芯协同的自进化算力。

听起来抽象,我给大家举个例子。

MiniMax H3 这个视频生成模型,之前我也写过。它已经开放了模型权重,所以很多公司会考虑把它部署到自己的算力环境中。

一方面,可以减少对外部 API 的依赖,降低长期使用成本。另一方面,也可以结合自己的业务和私有数据,进行进一步的定制。

但 MiniMax H3 在适配昇腾的过程中,就遇到了性能优化的难题。

因为过去很多大模型推理优化经验,都是基于英伟达 GPU 积累起来的。不同芯片的架构存在差异,原来的优化方法直接搬到昇腾上,有些反而会适得其反。

比如,其中一项残差复用的优化,沿用原来的参数之后,性能反而劣化了 71%。

过去遇到这种情况,通常就得找既懂芯片架构,又懂大模型推理的工程师,他们通过 Profiling 分析找到性能瓶颈,再逐个修改算子、调整参数........

整个过程其实非常繁琐,而且很依赖工程师的经验。说实话,国内同时熟悉芯片底层架构和大模型推理优化的工程师,还是比较稀缺的。

现在,寰宇元心尝试把这套工作交给 AI 来完成。

AI 可以自己分析性能瓶颈,提出优化方案、修改代码,再通过真实的硬件测试,判断优化到底有没有效果。如果效果不好,就继续调整。

如果性能提升了,就保留这个方案,再寻找新的优化空间。

整个过程可以不断循环,逐步找到更适合昇腾芯片的推理方案。

按照他们公布的测试结果,经过这一系列优化,MiniMax H3 在昇腾上的端到端推理速度,相比 SGLang 官方标准部署提高了 28.8%–33.7%。

而且,视频生成质量保持不变。

这对于国产芯片跑大模型来说,确实很有价值。因为大家都知道,国产芯片现在最大的问题就是软硬件生态还不够成熟,模型适配和性能优化都需要花费很大力气。

前两天和美团的哥们交流,他们现在模型训练和推理都在使用国产芯片,但为了适配和优化,确实投入了大量精力,而且花了这么多工夫,也未必能达到预期的效果。

毕竟,英伟达的软硬件生态经过这么多年的积累,确实太成熟了。这种差距也不是一两天就能追上的。

如果寰宇元心这样的 AI 公司,能够通过 AI 大幅降低模型适配和性能优化的门槛,这对于国内的算力生态来说,确实是利好。

不过,刚才提到的还只是软件层面的优化。

更有意思的是,寰宇元心还把这套自进化算力系统用到了芯片设计上。让 AI 自己探索设计方案,而且首版硅光测试芯片已经真的流片回来了。

这件事其实比软件优化难多了。

大家知道,芯片设计非常复杂。即便计算机上的仿真效果很好,真正交给 Fab 制造时,也可能因为几纳米的加工误差,导致最终性能不达标。

寰宇元心和北京大学光子传输与通信全国重点实验室合作,花了很多精力研究硅光芯片设计。

在这个过程中,AI 找到了和传统工程师思路不太一样的结构。

按照他们公布的测试结果,这套设计减少了光信号传输过程中的损耗,而且在部分关键指标上,超过了此前发表在国际顶级学术期刊上的同类方案。

芯片流片回来之后,他们又把 31 张扫描电子显微镜拍摄的照片交给 AI 分析。

毕竟设计图纸和实际制造出来的芯片,总会有一些加工偏差。AI 可以从这些照片中识别误差,再把真实数据反馈给仿真系统,继续改进下一轮设计。

也就是说,AI 已经可以自主探索芯片设计方案,再通过仿真和真实制造来验证效果,最后根据实际结果继续优化。

这和前面提到的大模型推理优化是同样的思路,只不过芯片研发的难度更高,周期也更长,还需要面对真实制造过程中的各种不确定性。

当然,目前还只是首版测试芯片,距离成熟的产品还有很长的路要走。

但如果这套方法以后真能广泛应用到国产芯片研发,以及大模型训练、推理的适配和优化中,那想象空间确实太大了。

写到这里,我也终于理解,为什么 DeepSeek、Kimi、GLM 这些炙手可热的大模型团队里,核心研究员愿意离开原来的岗位,出来啃这么硬的骨头。

我之前确实把这件事想小了。

如果能把自进化算力这事搞定,那它对整个 AI 行业的影响,几乎是决定性的。
15

来自圈子

圈子图片

科技圈大小事

100万+人已经加入