#AI工作流 假期抽空研究了一下海外提供文生图的工具,大致有这几类
有研发能力的科技大厂:
1⃣️谷歌:自从2015年发布Deep Dream之后一直在更新模型和算法,包括Disco Diffusion,Muse,Imagen(甚至原Imagen团队成员出走之后还创办了Ideogram)
2⃣️OpenAI:目前最具代表性的AI公司,去年Dalle2的发布揭开了AI绘画的大幕。打造生态的同时内部也实现了跨模态(Dalle3应该会联通chatGPT,visualGPT)。微软的Bing Image Creator也接的Dalle
3⃣️Meta:积极研究模型和算法,有Make-A-Scene,CM3leon,Animated Drawing等,生图功能应该会用于Facebook和Ins广告素材生成
4⃣️英伟达:GauGAN,Canvas和Picasso,同时也给下游企业提供技术支持
有算法能力的初创公司:
5⃣️Runway:在视频生成方面比较出名,但公司本身也是Stable Diffusion算法的创作者之一(母校lmu也是另外一个)
6⃣️StabilityAI:Stable Diffusion背后的开发公司,一开始使用Discord生成图片,后来开发了Dream Studio,并且收购了图片编辑公司Clipdrop
还有一些绘图模型,比如Hugging Face的Dalle Mini,用GAN的Dream by Wombo,Waifu Labs等,Replicate也提供众多的绘画模型部署
7⃣️Midjourney:目前应该是效果最好的工具,AI绘图目前就是MJ+一系列使用SD WebUI+Lora+ControlNet的网站的格局
上下游公司:
8⃣️图库:打不过就加入,Shutterstock和GettyImages都用英伟达的Picasso和Edify生成图片(国内的视觉中国)
9⃣️图片编辑:Adobe推出了Firefly和Generative Fill,我们网站cutout.pro和其他很多图片编辑类网站也属于这一类
以及其他
设计:Canva
图片搜索引擎:类似Lexica和Nyx.gallery
模型分享社区:CivitAI(国内的吐司,哩布)
插件:Alpaca和Veras,之后估计也会出现不少独立开发者给Autodesk和Figma这类工具做插件
垂直行业:模型微调过后专门用于某一类图片的网站,建筑/电商/室内设计/景观园林/游戏等。本行业的公司有大量的优质图片素材可以用于训练,我们另外一个网站PromeAI属于这类,还有妙鸭相机,RoomGPT等等