即刻App年轻人的同好社区
下载
App内打开
歸藏
9月前
a16z的一篇文章,详细盘点了现在人工智能视频生成领域的现状,看完就可以对这个领域有个大概的了解,感兴趣可以看看。

他们列出了 2023 视频生成产品的时间表以及对应产品的详细信息。同时对视频生成目前需要解决的问题以及视频生成领域的 ChatGPT 时刻到来需要具备的条件进行了探讨。

下面是主要内容,也可以去链接看全文翻译:

AI 视频领域目前需要解决的核心问题?

控制:你能否控制场景中的事件以及“摄像机”的运动?对于后者,一些产品增加了可以让你进行缩放或平移摄像机,甚至添加特效的功能。至于前者 — 即动作是否如所描述的那样 — 这个问题更加棘手。这是一个关于基础模型质量的问题(模型是否能理解并执行你的提示)。

时间连贯性:如何确保在视频的不同帧之间,角色、物体和背景的一致性,防止它们在画面中突变或扭曲?这是目前所有公开的模型普遍面临的问题。

视频长度:如何制作时长超过几秒的视频片段?这个问题与时间连贯性密切相关。因为保持视频在几秒钟后仍具有一致性存在难度,许多公司限制了用户能生成的视频长度。

AI 视频领域的 ChatGPT 时刻何时到来,需要回答的几个问题?

当前的扩散架构是否适合视频制作?
目前的视频模型是基于扩散技术的:它们主要通过生成连续的帧并尝试创建时间上连贯的动画(采用多种策略实现)。这些模型没有对三维空间及物体间互动的内在理解,这就是扭曲或变形的原因。

高质量的训练数据将从何而来?
训练视频模型比训练其他内容模态更加困难,主要原因是缺乏足够的高质量、有标签的训练数据。

这些用例将如何在不同平台或模型间区分开来?
我们在几乎所有内容模态中观察到的现象是,没有一个模型能在所有用例中独占鳌头。

谁将主导视频制作的工作流程?
在目前的情况下,除了视频本身的生成,制作一段优质的视频或电影通常还需要进行编辑。我们预计视频生成平台将开始引入视频编辑需要的附加功能。

翻译及原文链接:quail.ink
237

来自圈子

圈子图片

AI探索站

76349人已经加入