编译/VR陀螺

根据Meta Reality Lab的一份最新技术报告，生成式AI“WorldGen”能够在大约五分钟内，根据单个文本提示生成可穿越和交互式的3D世界。WorldGen架构解决了阻碍生成式人工智能在专业工作流程中发挥作用的特定痛点：功能交互性、引擎兼容性和编辑控制。

随着生成式人工智能技术的突破，人们已能基于单一文本或图像提示制作出引人入胜的短片片段。WorldGen融合了过程推理、扩散式3D生成与物体感知场景分解技术，最终产出几何一致、视觉丰富且渲染高效的3D世界，适用于游戏、模拟及沉浸式社交场景。

生成式AI在基于文本/图像提示生成高质量3D资产方面已取得重大突破。WorldGen融合并创新了多项现有2D/3D生成技术：首先生成3D场景图像，随后进行图像到3D的重建，整个过程涵盖多个阶段：

• 规划阶段

程序化块状模型生成

导航网格提取

参考图像生成

• 重建阶段

图像到3D基础模型

基于导航网格的场景生成

初始场景纹理生成

• 分解阶段

场景部件提取（采用加速版AutoPartGen）

场景分解数据整理

• 精细化处理

图像增强

网格优化模型

纹理映射模型

现有其他方法通常基于单一指定视角从图像或文本提示生成交互式3D世界，而非依托全局参考图像或完整布局进行构建。虽然中心视角附近的几何体与纹理质量较高，但仅需移动3-5米距离，质量便会急剧下降。相比之下，WorldGen可生成50×50米范围的完整纹理场景，全程保持风格与几何结构的完整性。未来Meta将致力于实现更大规模的世界生成。

尽管该技术仍处于研究阶段尚未向开发者开放，但WorldGen生成的内容可直接兼容Unity、虚幻等主流游戏引擎，无需额外转换或渲染管道。

WorldGen推动了生成多样化、交互式可探索世界的研究进程，当前模型仍存在亟待解决的局限。例如，未来版本将能生成更大空间并降低生成延迟。

3D内容创作过程复杂耗时，WorldGen展现了在各行业实现显著节省时间和成本的潜力，同时助力推动3D内容创作的普及化。这支持了Meta在Connect大会上提出的愿景：未来任何人都能无需编写代码即可构建完整的虚拟世界。

来源：Meta