印度理工学院班加罗尔分校视觉与人工智能实验室、三星印度研发中心和牛津大学视觉几何组的研究人员推出Reflecting Reality，它专门用于创建逼真的镜面反射。简单来说，可以处理给定的图片，自动在图片中的镜子区域生成符合几何学原理和照片级真实的反射效果。例如，你是一名室内设计师，你可能需要创建一个包含镜子的房间效果图。使用MirrorFusion，你只需提供一张包含镜子和室内物体的图片，模型就能自动生成镜面反射效果，使设计看起来更加真实。
- 项目主页：https://val.cds.iisc.ac.in/reflecting-reality.github.io
- GitHub：https://github.com/val-iisc/Reflecting-Reality
研究团队使用基于扩散的生成模型来解决生成高度逼真且合理的镜面反射的问题。研究团队将这个问题定义为图像修补任务，从而在生成过程中让用户有更多的控制权来放置镜子的位置。为此，研究团队创建了 SynMirror，这是一个包含多种合成场景的大规模数据集，场景中有放置在镜子前的物体。SynMirror 包含大约 198,000 个样本，这些样本是从 66,000 个独特的 3D 物体渲染而来，并附带相应的深度图、法线图和实例分割掩模，以捕捉场景的相关几何属性。利用这个数据集，研究团队提出了一种新的基于深度条件的修补方法，称为 MirrorFusion，该方法可以根据输入图像和描绘镜子区域的掩模生成高质量、几何一致性和照片级真实的镜面反射。MirrorFusion 在 SynMirror 数据集上的表现优于现有最先进的方法，这一点通过广泛的定量和定性分析得到了证明。
主要功能：
- 生成高质量的镜面反射图像。
- 保持与输入图像中物体的几何一致性和照片真实感。
主要特点：
- 深度条件图像修复：利用深度图作为额外的输入条件，帮助模型更好地理解场景的三维结构，从而生成准确的反射效果。
- SynMirror数据集：为了训练这个模型，研究者们创建了一个名为SynMirror的大规模合成数据集，包含了多种不同物体在镜子前的渲染图像。
- MirrorBench基准测试：为了评估模型的性能，研究者们还创建了一个基准测试集MirrorBench。
工作原理：
- 图像编码：使用预训练的图像编码器（如Stable Diffusion模型）来编码输入图像。
- 深度图处理：将输入的深度图裁剪和调整大小，以便与编码后的图像相匹配。
- 条件UNet：使用一个称为条件UNet的网络，将编码后的图像、深度图和镜面遮罩结合起来，生成一个条件特征图。
- 生成UNet：使用另一个称为生成UNet的网络，基于条件UNet的输出和噪声输入，迭代去噪生成最终的反射图像。
具体应用场景：
- 图像编辑：在图像编辑软件中，用户可以选择一个区域（如镜子），然后使用MirrorFusion生成该区域的反射效果，增强图像的真实感。
- 增强现实(AR)：在AR应用中，MirrorFusion可以在虚拟物体与现实世界的交互中生成逼真的反射效果，提升用户体验。
- 计算机视觉：在需要识别和处理镜面反射的计算机视觉任务中，MirrorFusion可以帮助生成训练数据或增强现有数据集。
评论0