即刻App年轻人的同好社区
下载
App内打开
歸藏
1年前
卧槽,我们有开源的 Heygen 可以用了?

目前开源的HeyGen类似项目基本都支持面部和唇形同步,不支持更大范围的肢体运动。

TANGO 这个项目只需要提供几十秒的肢体运动视频,就可以无限生成匹配对应音频的全身视频。

再搭配上一些唇形同步开源项目比如快手的LivePortrait,完美复刻HeyGen不是梦想。

项目生成逻辑是:

首先,该系统会分析参考视频,创建一个包含各种可能身体姿势和动作转换的"动作图谱 (motion graph)"。

接着,系统会选择最能配合音频的最佳动作序列。

最后,它会生成流畅的过渡帧,从而创建出一个真实自然的动作视频。

项目地址:pantomatrix.github.io
02:57
321

来自圈子

圈子图片

AI探索站

101262人已经加入