3D是什么？渲染，建模，贴图和3D有什么关系？AI+3D走得通吗？-科普向📝

我在今年认识了NeRF，DreamFusion，Gaussian Splatting，Magic3D等算法，产品逛过年初的Nvidia Picasso，Kaedim，Csm，Spline，Luma，Plask，Skybox到最近中国团队发布的MeshyAI，Tripo/Vast @Chris-Su

即使如此，每次想起3D我脑中依旧会浮现的是一排排旋转的立体模型小人，建筑物和地形

曲凯老师@曲凯 这篇播客采访了Meshy.AI 创始人胡渊鸣，系统性地梳理了图形学，3D，AI+3D的概念，下面是精要（语音转文字：飞书妙记 内容归纳：kimichat）

“1. 图形学的定义：
图形学是一门研究如何通过计算机技术合成视觉内容的学科，包括真实感渲染、仿真、AI与图形学的结合等。

2. 渲染：
渲染是将3D模型转换为2D图像的过程，涉及到光线传播的仿真，目的是在屏幕上生成具有真实感的图像。

3. 3D数据表达方式：
点云：空间中的一组点，可以用来表示3D物体的表面。
体素：规则分布的3D点集合，类似于2D图像中的像素，但增加了一个维度。
神经辐射场（NeRF）：使用神经网络来表示场景中每个点从不同角度观察时的外观。
高斯散射：一种点云表示方式，其中每个点具有特定的方向性和大小，可以表示3D场景的信息。
Mesh（三角网格）：使用三角形网格来表示3D物体的表面，是实时图形领域中最常用的表示方式。

4. AI生成3D的任务：
文字生成贴图：将文字描述转换为3D模型的表面纹理。
文字生成3D模型：直接从文字描述生成3D模型和贴图。
图像生成3D模型和贴图：使用图像作为输入，生成3D模型和其表面的纹理。

5. 市场需求与技术挑战：
3D资产在游戏和影视行业中的需求很高，但AI生成3D内容的技术仍在发展中，面临质量、可控性、速度等挑战。

6. 创业与科研的结合：
胡渊鸣强调了理解市场需求的重要性，并分享了从科研转向创业的心路历程，以及如何将科研思维应用于商业环境中。”

我的笔记📋
1. 图形学追求将数字内容更好地视觉化
2. 游戏行业中实时渲染用得多，如Unity，Unreal Engine，对算力要求更高
3. 影视行业中offline CG用得更多，如3dmax，Maya，Houdini
4. “2D+时间维度=视频，2D+空间维度=3D”
5. 图像生成3D更加可控，多张图3D重建很成熟，目前想解决的是依靠多角度数据集和单张图片生成3D资产
6. 2D图片数据集Laion有58亿五千万张图，3D数据集Sketchfab只有5百万，并且有版权
7. 3D是toB的生意，创作者有很高的操作门槛，且市场规模只有2D市场的1/10～1/20
8. 硬件如Vision Pro可以扩大3D的使用场景
9. 生成式AI的出现让构建3D路径从模型到数据转向有了可能性

建议听一遍原文，非常有收获～

关于AI，图形学和全息投影，你还可以听这期节目（www.xiaoyuzhoufm.com）

Tripo和MeshyAI效果怎么样，看看卡兹克@数字生命卡兹克 怎么玩的（mp.weixin.qq.com）

目前OpenAI，谷歌等科技巨头对3D也感兴趣，英伟达2023年10个highlights里有三个和3D有关（twitter.com）

随想：AI+3D有没有更广阔的使用场景？除了建筑，可能还有数字孪生，工业设计，GIS，遥感，医学影像等

求个点赞，错误和其他观点可以发在评论区🤔️