小冰推出Portrait4D-v2，它能够创建出逼真的4D头部头像。4D头像不仅具有三维的立体形状，还能随着时间变化而展示出不同的面部表情和头部动作，就像活生生的人一样。这项技术的应用前景非常广泛，比如在虚拟现实(VR)、增强现实(AR)、3D游戏和电影制作中，可以用来生成逼真的角色。这项技术的核心在于，它不需要大量的3D数据来训练模型，而是通过从现有的单目视频中生成伪多视角视频来学习4D头部合成，这使得它更加高效和实用。
Portrait4D-v2旨在实现前馈式一次性（one-shot）的四维（4D）头部虚拟化身合成。Portrait4D-v2采取了一种新策略，利用伪多视角视频以数据驱动的方式来训练一个4D头部合成器，从而规避了因依赖可能不够精确的3DMM重建而导致的合成性能下降问题。开发团队的核心思路分两步：首先，借助合成的多视角图像数据训练一个三维头部合成模型，将单视角的真实视频转换为等效的多视角视频；接着，利用这些生成的伪多视角视频，通过跨视角的自我再演绎机制，进一步学习一个能处理时间维度的4D头部合成模型。此过程得益于一个简洁的视觉变换器（Vision Transformer）架构，其内置了对动态信息敏感的交叉注意力机制，使得我们的方法在重建的真实性、几何结构的一致性及动作操控的准确性上，相比现有方法均展现出显著优势。
主要功能：
- 从单张图片生成能够模拟真实人类面部表情和动作的3D头像。
- 支持自由视角渲染，即可以从不同角度观察头像而保持其逼真度。
主要特点：
- 利用伪多视角视频数据来学习4D头部合成器，避免了依赖不准确的3D形态模型（3DMM）重建，这可能会损害合成性能。
- 使用简单的视觉变换器作为骨干网络，通过运动感知的交叉注意力机制，提高了重建的真实性、几何一致性和运动控制的准确性。
- 不依赖于复杂的3D数据收集，而是通过学习单目视频来生成多视角视频，更加实用和高效。
工作原理：
- 学习3D头部合成器：首先，使用合成的多视角图像来训练一个3D头部合成器，它能够将单目真实视频转换为多视角视频。
- 生成伪多视角视频：然后，利用这个3D合成器从单目视频中生成伪多视角视频。
- 跨视角自重演学习：使用伪多视角视频来训练4D头部合成器，通过从不同视角重建相同的帧，学习详细的运动控制。
具体应用场景：
- 虚拟助手：在智能家居或智能设备中，可以生成逼真的虚拟助手的面部表情和头部动作。
- 视频会议：在远程工作和在线会议中，可以提升参与者的头像真实感。
- 游戏和电影：在3D游戏和电影制作中，创建逼真的角色和动画。
- 教育和培训：生成逼真的虚拟教师或培训角色，提供更加自然和吸引人的互动体验。
评论0