中山大学、Pixocial Technology、鹏程实验室和中科院深圳先进技术研究院的研究人员推出一种简单高效的虚拟试穿扩散模型CatVTON，它通过将任意类别的商店衣物或已穿戴衣物与目标人物图像在空间维度上简单拼接作为输入，从而实现了无缝转移。虚拟试穿技术允许用户在不实际穿上衣物的情况下，通过照片来预览衣物穿在身上的效果，这对于网上购物尤其有用。
例如，你在一家网店看到一件你喜欢的连衣裙，但不确定它是否适合你。使用CatVTON，你可以上传一张自己的照片，然后这个系统就会生成一张你穿着那条连衣裙的图片，就像你在镜子前试穿一样。这样，你就能更好地决定是否要购买这件衣物了。
主要功能：
CatVTON的主要功能是将商店里的衣物或者别人穿着的衣物，通过虚拟方式“试穿”到目标人物身上。无论是哪种类别的衣物，它都能实现高质量的虚拟试穿效果。
主要特点：
- 高效率：CatVTON使用了仅有49.57M可训练参数的轻量级网络，相比其他基于扩散模型的虚拟试穿方法，大大减少了训练和推理的成本。
- 参数高效：通过实验确定与试穿相关的模块，并且只训练必要的模块，从而实现高质量的试穿效果。
- 简化推理：CatVTON省略了所有不必要的预处理步骤和条件输入，如姿态估计、人体解析和文本输入，只需要衣物参考图、目标人物图像和遮罩即可完成虚拟试穿过程。
工作原理：
CatVTON的工作原理基于扩散模型，它通过在空间维度上简单拼接衣物图像和人物图像作为输入，然后通过一个共享的编码器将它们编码到潜在空间。接着，使用去噪UNet（一种常用的图像恢复网络结构）来综合最终的试穿图像，将潜在空间中的特征结合起来。
具体应用场景：
- 电子商务：在电子商务网站上，顾客可以上传自己的照片，然后使用CatVTON来预览不同衣物穿在自己身上的效果。
- 时尚行业：时尚设计师可以使用这项技术来展示他们的设计，而不必实际制作每一件衣物的实物。
- 个性化推荐：结合用户的身材和风格偏好，CatVTON可以为用户推荐最适合他们的衣物样式。
评论0