卧槽,我们有开源的 Heygen 可以用了?
目前开源的HeyGen类似项目基本都支持面部和唇形同步,不支持更大范围的肢体运动。
TANGO 这个项目只需要提供几十秒的肢体运动视频,就可以无限生成匹配对应音频的全身视频。
再搭配上一些唇形同步开源项目比如快手的LivePortrait,完美复刻HeyGen不是梦想。
项目生成逻辑是:
首先,该系统会分析参考视频,创建一个包含各种可能身体姿势和动作转换的"动作图谱 (motion graph)"。
接着,系统会选择最能配合音频的最佳动作序列。
最后,它会生成流畅的过渡帧,从而创建出一个真实自然的动作视频。
项目地址:
pantomatrix.github.io