特拉维夫大学、英伟达和卡内基梅隆大学的研究人员推出新型多视角图像编辑技术QNeRF（Query Neural Radiance Field），这项技术旨在解决在对同一场景从多个视角拍摄的图像集进行编辑时，如何保持编辑结果在不同视角间的一致性问题。QNeRF通过在编辑过程中逐步整合注意力特征，提高了多视角图像编辑的一致性和质量。
QNeRF通过在多视角图像编辑中引入3D几何控制和注意力特征整合，提供了一种新的、高质量的图像编辑方法，特别适用于需要在多个视角下保持一致性的复杂场景。
主要功能：
- 多视角图像编辑：能够在多个视角下同时编辑图像，确保编辑效果在不同视角间保持一致。
- 3D几何控制：通过空间控制（如改变物体的骨架）来调整图像，而不仅仅是在2D平面上进行编辑。
主要特点：
- 渐进式整合：QNeRF在图像生成过程中逐步整合注意力特征，以实现更好的多视角一致性。
- 查询特征空间神经辐射场：通过训练一个神经辐射场来处理编辑图像的内部查询特征，从而提高编辑的几何一致性。
工作原理：
- 在编辑过程中，首先从扩散模型中提取自注意力层的查询特征。
- 使用这些查询特征训练QNeRF，使其能够渲染出3D一致的查询。
- 将渲染出的查询柔和地注入回扩散模型的自注意力层，以指导图像的生成过程。
具体应用场景：
- 虚拟现实（VR）和增强现实（AR）：在这些领域中，用户可能需要从多个视角查看和编辑3D场景，QNeRF能够确保编辑效果在不同视角下保持一致。
- 电影和游戏制作：在创建3D角色或场景时，艺术家可能需要从多个角度进行调整，QNeRF可以帮助他们实现一致的视觉效果。
- 3D建模和动画：在3D建模和动画制作中，QNeRF可以用于精确控制模型的形状和动作，以便在不同视角下保持一致性。
评论0