香港中文大学、斯坦福大学、Snap、加州大学洛杉矶分校和字节跳动的研究人员推出新型图像编辑框架3DitScene，它能够通过语言引导的解耦高斯散射（Language-guided Disentangled Gaussian Splatting）来实现对任何场景图像的编辑。简单来说，3DitScene就像是一个高级的数字工具，允许用户用文字指令来操作和修改图片中的三维场景和对象，就像在现实世界中移动物体一样简单。
- 项目主页：https://zqh0253.github.io/3DitScene
- GitHub：https://github.com/zqh0253/3DitScene
- Demo：https://huggingface.co/spaces/qihang/3Dit-Scene
具体而言，3DitScene首先通过生成先验和优化技术细化三维高斯分布，以此为基础构建场景。随后，开发人员从CLIP（Contrastive Language-Image Pre-training）模型中提取语言特征，将语义融入三维几何体中，实现物体的解耦。得益于这些解耦的高斯分布，3DitScene不仅允许用户在全球层面对场景进行调整，还能在个体对象层面进行细致操作，从而革新创意表达方式，增强对场景和物体的操控能力。实验结果显示，3DitScene在场景图像编辑中表现出卓越的有效性和灵活性，能够处理多种编辑需求，从宏观场景布局调整到微观物体属性改变均能轻松应对，标志着场景编辑技术的一大进步。
主要功能： 3DitScene的主要功能包括：
- 2D到3D的无缝编辑：用户可以对图像进行从二维到三维的编辑，包括移动、删除、旋转对象，以及改变摄像机视角。
- 精确控制：提供了对场景组成和单个对象的精确控制。
- 语言引导编辑：用户可以通过文本指令来指导编辑过程，例如输入“移动女孩，然后删除她并旋转相机”。
主要特点：
- 统一框架：3DitScene提供了一个统一的框架，可以同时处理2D和3D编辑任务。
- 解耦高斯表示：利用3D高斯来表示场景，并通过语言特征进行细化，实现对象级别的解耦。
- 创造性表达：允许用户以新颖的方式进行创造性表达和场景控制。
工作原理：
3DitScene的工作原理基于以下几个关键步骤：
- 3D高斯散射：首先，将输入图像转换为3D高斯表示，这些高斯通过生成先验和优化技术进行细化。
- 语言特征引入：使用CLIP模型的语言特征为3D几何引入语义，帮助解耦场景中的各个对象。
- 对象解耦：通过解耦的高斯表示，3DitScene允许用户在全局和个体层面上进行操作。
- 用户交互：用户可以通过文本提示查询特定对象或兴趣点，实现更用户友好的交互。
具体应用场景：
- 娱乐行业：在电影制作或游戏开发中，快速编辑场景图像，改变场景布局或对象位置。
- 专业摄影：摄影师可以调整图片中的元素，以获得更好的构图或视觉效果。
- 广告设计：设计师可以轻松修改广告图像，以适应不同的广告需求和创意表达。
评论0