3D场景编辑框架TIP-Editor

来自腾讯人工智能实验室、中山大学的研究人员推出3D场景编辑框架TIP-Editor，它允许用户不仅通过文本提示，还通过图像提示来精确地编辑现有的基于3D高斯散射（GS）的辐射场。TIP-Editor的特点在于其结合了文本和图像两种提示，使得编辑结果既符合文本描述也符合参考图像的细节。

特点：

• 精确控制：TIP-Editor通过3D边界框指定编辑区域，结合文本和图像提示，实现对编辑结果外观和位置的精确控制。

• 逐步2D个性化策略：该策略包括场景个性化步骤和基于LoRA的新颖内容个性化步骤，以实现准确的地点和外观控制。

• 3D Gaussian Splatting：采用3D Gaussian Splatting作为3D表示，因为它在渲染效率和局部编辑方面表现出色。

实现方法：

• 逐步2D个性化：首先，通过场景个性化步骤学习现有场景的表示，然后通过LoRA层学习参考图像中的独特特征。

• 粗略编辑：使用SDS损失优化选定的Gaussians，以实现对象插入、替换或重新纹理化。

• 像素级细化：通过创建伪目标图像（Igt）并应用像素级重建损失，增强编辑结果的质量。

具体应用场景：

• 3D内容创作：TIP-Editor可以用于3D艺术家和设计师在创作过程中快速迭代和修改3D场景。

• 游戏开发：在游戏开发中，TIP-Editor可以帮助开发者根据玩家的反馈或设计需求快速调整游戏场景和角色。

• 电影和动画制作：在电影和动画制作中，TIP-Editor可以用于场景和角色的精确编辑，以匹配导演的创意愿景。

TIP-Editor为3D场景编辑提供了一个灵活、精确且用户友好的工具，使得编辑过程更加直观和高效。TIP-Editor在多种真实世界场景中进行了广泛的实验，包括物体、人脸和户外场景，并在编辑质量和与提示对齐方面始终优于基线方法。