即刻App年轻人的同好社区
下载
App内打开
Simon的白日梦
10月前
我,编程菜鸟,攒了一扇平行时空传送门——GaussianSpace,一个可以用文字引导编辑三维高斯大场景的工具🐶。

最近三维高斯技术对于真实场景的3D还原已经达到了毫发毕现的程度,作为跑路的前建筑时师,很容易联想到的一点是,如果加上文字引导做整体修改,不就可以创造平行世界了😮?本编程菜鸟本来是不想造轮子的,但是看了一大圈,现有的3D高斯文字引导编辑方法,基本上都是基于instruct pix2pix的,只能做局部编辑😂。

那没法了,只能自己干了🧐,我在原来3D高斯损失函数的基础上,加入了基于2D stable diffusion 模型的得分蒸馏采样(score distillation sampling, SDS)损失函数,并引入自动权重平衡(AutomaticWeightedLoss)方法,平衡SDS loss和真实图片Loss,使得整体损失函数能够在迭代中平稳下降,确保编辑后的高斯场景能够在保持原有场景结构特征的同时,响应文字引导,最终成功传送到平时时空!🥹

我这次一共做出来3个比较满意的平行时空——从格拉茨兵器博物馆分别迁移到赛博机器武器库、废弃生物展馆和幻想玩具屋!注意,这不是视频,不是视频,不是视频!这是可以交互(旋转、缩放、平移)的全3D场景🫠!

➡️迁移后的3D高斯平行时空可以在以下网址交互试玩 (需要在crhome中打开,网页渲染效果比本地渲染略差):showcase.3dmicrofeel.com

➡️更多信息可以访问我们的git page (需要梯子):gaussianspace.github.io

🤔PS:现在只是初步跑通了技术管线,还有很多buff没有往上叠,后续应该能进一步提升质量(本来想做得更完善一点再发的,但是现在实在卷得太快了,还是先发出来占个坑吧😂)!希望合适的时候能够以某种方式开放给大家使用🤗!
01:00
1139

来自圈子

圈子图片

人工智能讨论组

464909人已经加入