做过视频的人都知道一个痛点:画面和声音永远对不齐
你用 AI 生成了画面,再用 AI 配了音,然后花几个小时手动调时间轴、对口型、卡节奏
稍微专业点的创作者,光音画同步这一步就能耗掉半天时间。更要命的是,调完还不一定自然
这个问题在 AI 视频生成领域一直没有解决方案,因为技术难度太高
——要让声音和画面在生成的时候就天然对齐,而不是事后硬拼,这需要模型同时理解音频和视频的底层逻辑
直到百度文心团队放出了 NAVA-这是业界第一个仅有6.3B参数大小,但是能原生同步生成音视频的模型
其他能实现的模型哪个不是10B以上?
作为一个跑过无数 AI 工具的产品经理,我看到这个模型的第一反应是:这才是真正的技术突破
它到底能干什么?
你给 NAVA 输入一段文字描述,它直接输出720p 的视频+立体声音频,而且声画天然同步,不需要任何后期调整
这不是简单的文生视频+文生音频拼接,而是音视频在同一个生成过程中共同演化、原生对齐
音视频联合生成这个赛道,LTX、Ovi、MOVA 等模型都在做
但 NAVA 用了一个更聪明的架构:Align-then-Fuse,先让音视频在专门的对齐空间建立对应关系,再融合文本条件生成。
更炸裂的是参数量:6.3B 打败所有对手
NAVA 只有6.3B 参数,但在 Verse-Bench 基准测试上,音视频同步指标、视频质量、音频准确率全面超越:
Ovi 1.1(10B 参数)
MOVA(32B 参数)
Davinci(15B)
LTX 2.3(19B)
用三分之一甚至六分之一的参数量,拿下 SOTA。这意味着什么?意味着普通人真的用得起了
不需要4090显卡,不需要租昂贵的云算力,甚至12GB 显存的3060就有可能跑起来。而那些参数量动辄15B、19B 的模型,普通人根本碰不到,只能在云端按次付费
文心用6.3B 做到了别人19B 才能做到的效果,这不是简单的参数压缩,而是在模型架构和训练策略上下了真功夫
他们用了一个叫 Align-then-Fuse 的架构,先让音频和视频在专门的对齐空间里建立对应关系,再融合文本条件进行生成
这个技术路线的价值在于:小模型+高性能=普通人能用的 AI 工具
它解决了什么真实痛点?
我观察到三个场景,NAVA 可能发挥非常大的作用:
1.短视频创作者的效率问题:
现在做抖音、视频号内容,很多人卡在配音和画面匹配上。用传统工具,要么花钱请配音,要么用 AI 配音但对不上口型。NAVA 直接生成同步内容,省掉了这个环节
2.教育和培训内容制作:
很多老师、培训机构想做视频课程,但制作成本太高
如果能用文字描述直接生成带讲解的演示片段,内容生产效率会提升几倍
3.小白的内容创业门槛
过去你想做视频内容,得学剪辑、学配音、学调色
现在你只需要会写文案,描述清楚你想要什么,工具帮你生成
这对于想入局但没技术背景的人来说,是真正的降维打击
文心在下一盘什么棋?
有意思的是,NAVA 目前还只是研究阶段的开源项目,但它透露出的信号很明确:
文心在往音视频联合生成、甚至世界模型的方向布局
从产品思维来看,这个方向很聪明
视频生成是红海,音频生成也是红海,但音视频原生同步生成,还是蓝海
而且这个能力,恰好是搭建世界模型、实现真正多模态 AI 的关键拼图
更重要的是,他们选择了小模型路线
在大家都在卷参数量、卷算力的时候,文心用6.3B 做到了 SOTA 水平,这意味着他们在模型效率和工程优化上下了功夫
这对普通用户是好事,因为小模型意味着更低的使用成本、更快的推理速度、更容易的本地部署
NAVA 现在还在早期,但它代表的方向——让 AI 工具更轻、更快、更容易用,才是真正会改变普通人生活的技术路线
GitHub 项目地址:
ernie-research.github.io论文地址:
arxiv.orgHugging Face 模型页:
huggingface.co