清华和上海人工智能实验室发布了一个图像修复项目 PowerPaint，可以实现对图像局部比较精确的编辑，比如选择图像对应区域后通过文本增加或者删减内容，还支持和 Contorlnet的一起使用。

简介：
这是第一个在两个任务中都表现出色的高质量、多功能修复模型。首先，引入了可学习的任务提示以及量身定制的微调策略，明确指导模型在不同的修复目标上的关注点。这使得PowerPaint能够通过利用不同的任务提示来完成各种修复任务，从而实现了最先进的性能。其次，展示了PowerPaint中任务提示的多功能性，将其作为对象移除的负面提示来展示其有效性。此外，利用提示插值技术实现了可控的形状引导对象修复。

方法：
PowerPaint使用两个任务提示，即P obj 和P ctxt ，对文本引导的对象修复和上下文感知的图像修复模型进行微调。具体而言，P obj 可以作为负面提示，通过无分类器引导采样来有效地移除对象。我们进一步引入了P shape 用于形状引导的对象修复，可以通过与P ctxt 的提示插值进一步扩展，以控制生成的对象与遮罩形状的对齐程度。

项目地址：powerpaint.github.io