即刻App年轻人的同好社区
下载
昨晚和一位 OpenAi Candidate 的聊天，聊了 nerf, AI 3D, AI 动画, AI 服装模特… 是我近期信息量最大的对话了。给我最大震撼的是，我们发现 AI 动画这个事学术界感兴趣的方向和工业界需要的竟然完全不一样。
▶ 对于工业界来说，img2img 比 txt2img 重要，因为业内的工作流程一直是从草稿细化到成品；而 txt2img 由于可控性太低，相对于 img2img 来说真的太低效了。
制作电影/动画也是同理，讲故事的是视觉，分镜脚本是比剧本更重要的存在，一些 case 我们是直接跳过剧本直接写分镜脚本的（比如广告）。基础的工作流是：分镜脚本 -> 预演 -> 成片。
放到 AI 时代的视角来看，从电影分镜到成片，本质是一种 style transfer. 不是给视频套一个滤镜的那种 style transfer，是真的改变画面内容 structure 的 style transfer. 而这就是 Gen-1 在干的事情。
所以我们期待类似 Gen-1 的产品比期待 Gen-2 (txt2video) 要多很多，能预想到 txt2video 出来了以后融入实际工作流肯定会各种因为可控性太低而被各种诟病，但更完善更好的 Gen-1 可以很快地进入实际的工作生成中。
▶ 对于学术界来说，Gen-2 在技术含量上比 Gen-1 要有趣得多，带 structure 改变的 style transfer 是已经解决了很长一段时间的问题，Gen-1 的技术是没有秘密的。学术界的重心基本都铺在了 txt2video 上。
我：@#￥%…&* I dont really give a damn to txt2video _(:ι」∠)_
▶ 对于工业界来说，img2img 比 txt2img 重要，因为业内的工作流程一直是从草稿细化到成品；而 txt2img 由于可控性太低，相对于 img2img 来说真的太低效了。
制作电影/动画也是同理，讲故事的是视觉，分镜脚本是比剧本更重要的存在，一些 case 我们是直接跳过剧本直接写分镜脚本的（比如广告）。基础的工作流是：分镜脚本 -> 预演 -> 成片。
放到 AI 时代的视角来看，从电影分镜到成片，本质是一种 style transfer. 不是给视频套一个滤镜的那种 style transfer，是真的改变画面内容 structure 的 style transfer. 而这就是 Gen-1 在干的事情。
所以我们期待类似 Gen-1 的产品比期待 Gen-2 (txt2video) 要多很多，能预想到 txt2video 出来了以后融入实际工作流肯定会各种因为可控性太低而被各种诟病，但更完善更好的 Gen-1 可以很快地进入实际的工作生成中。
▶ 对于学术界来说，Gen-2 在技术含量上比 Gen-1 要有趣得多，带 structure 改变的 style transfer 是已经解决了很长一段时间的问题，Gen-1 的技术是没有秘密的。学术界的重心基本都铺在了 txt2video 上。
我：@#￥%…&* I dont really give a damn to txt2video _(:ι」∠)_
103 2353
来自圈子
AI探索站
67123人已经加入