来辣各位,藏师傅手把手教你云端部署 SD 生成图片和视频。
这是教程的第三部分AnimateDiff插件生成视频的课程,包括基础的视频生成以及提示词旅行等技巧。
由于这个教程比较长,推特每条数量有限,各位也可以直接去这两个地方看长文。
AIGC 周刊:
quail.ink微信公共号:
mp.weixin.qq.com这里我们正式开始视频生成的教程,首先我们要改个设置:
很多尝试过的朋友可能发现自己 每次生成的时候会有两个不一样的 gif。
在设置 Tab 下面的 Optimizations 分类中把`Pad prompt/negative prompt to be same length` 和 `Batch cond/uncond` 这两个选项打开然后点击 应用设置 按钮就行。
基础视频生成
首先我们来简单生成一个视频试试,这里我们把模型选择成我实验的二次元效果比较好的“darkSushiMixMix colorful”这个模型,然后正常输入提示词,你也可以写自己的:
提示词:1girl, Solo, cherry blossoms, flower viewing, pink flowers, white flowers, spring, wisteria, petals, flowers, plum blossoms, outdoor, falling petals, black eyes, upper body, white kimono, purple hair 反向提示词:(worst quality, 1ow quality: 1.4)
上面的反向提示词这里需要注意,不要使用`EasyNegative` 等 Embedding模型,提示词不要过长,会导致画面崩坏,这是我总结出来的不知道什么原因,有知道的可以帮忙解答一下。
上面这部分的设置基本上就是正常的图片生成设置,设置完成以后可以出一张图自己测试一下,看一下有没有问题。
接下来我们到AnimateDiff插件的设置部分,先看一下基础的图像生成需要用到的几个参数。
Motion Module:是我们刚才费劲上传的AnimateDiff的模型了,除了官方的还有很多其他人在这个基础上微调的,你可以都试试,我们这次先用官方的。
Enable AnimateDiff:这个就不用说了,勾选以后就会启动插件。
NumBer of framer:这是是你生成视频的总帧数,在测试的可以先开16。
FPS:就是每秒多少帧,比如你NumBer of framer设置的 16,FPS 设置的 8,那么你最后就会生成一个 2 秒的视频或者 gif。
Save format:这个就是输出的格式,默认的 gif 和 png,如果你觉得生成的图噪点很多的可以换成mp4 。
好了我们的基础视频生生成了解这些就行了,现在点击生成看一下效果吧。这是我生成的效果。
镜头调度
接下来我们可以看一下镜头调度功能,AnimateDiff是通过Lora 模型来实现的,就是我们刚才上传的几个小的 Lora 模型。
在图示的 Tab 这里找到 Lora 这个点击切换,然后在一堆 Lora 里面找到 V2_lora_XXX 等一系列模型中的一个或者多个,这里我就用 Panleft 来做示例,就是镜头会向左移动。
Zoom In(镜头拉进)、Zoom Out(镜头拉远)、Zoom Pan Right(镜头右移)、Tilt Up(镜头上移)、Tilt Down(镜头下移)、Rolling Anti-Clockwise(逆时针旋转)、Rolling Clockwise(顺时针旋转)。
点击以后提示词冒号后的数字就是模型权重,权重越大镜头运动的幅度也会越大,建议 0.4-0.8 就行。
插件部分的数字我们保持原样再次点击生成试一试,由于我权重开的高所以可以很明显的看到镜头移动的效果。
提示词旅行
提示词旅行的意思就是你可以定义视频生成不同阶段的提示词让画面产生自然的变化,这里主要需要注意的是提示词书写的格式。
提示词旅行主要由三部分组成,分别是头部提示词、插帧提示词。
第一行和最后一样的是头部提示词和尾部提示词,写的是不需要变动的内容,比如女孩的着装样貌表情等,头部和尾部提示词不是必须的。
中间的插帧提示词包括两部分首先是前面的 0:,代表的是第几帧开始这个变化,第一行必须从第 0 帧开始,后面的提示词就是这个变化的描述。前面帧率的数字不能超过总帧率
比如下面这个的意思就是 0 帧的时候是秋天的景色然后到第 16 帧变化到冬天的景色。
注意:这里的提示词也尽量精简不要写太多。
比如这里我写了最大的是 16,所以我把总帧数那里改成了 24。
来看一下这次我生成的结果吧,非常明显的秋天变成冬天,你也可以复制我的提示词试试。
1girl, solo, black eyes, upper body, white and clothes, purple hair,
0: orange leaves, yellow leaves, autumn, outdoor, fallen leaves
16: Plum blossoms, winter, outdoor, falling snowflakes
smile
好了到这里这次的教程基本就结束了,可以多去尝试一些效果。特别感谢揽睿星舟工作人员的帮忙,响应非常迅速。
如果有任何问题都可以随时带图留言,我看到就会回,如果觉得有帮助可以点个赞或者转发给你的朋友,感谢各位🙏。
你可以在这里访问揽睿星舟:
www.lanrui-ai.com文件下载:链接:
pan.quark.cn 提取码:Thmy
第一部分:
m.okjike.com第二部分:
m.okjike.com