自动化视频线稿上色是简化动画制作流程、降低劳动力成本的关键技术。然而，传统方法面临多个挑战：
- 角色设计艺术与线稿草图对齐问题：确保颜色信息准确地映射到线稿中。
- 时间一致性需求：保证动画帧之间的颜色和风格连贯。
- 手动上色关键帧和密集线稿指导的需求：增加了艺术家的工作量。
- 非二值化草图条件导致的颜色信息泄露：影响上色质量。
为了解决这些问题，香港科技大学、蚂蚁集团、南京大学、浙江大学和香港大学的研究人员共同提出了AniDoc，它是一个基于视频扩散模型的工具，用于自动化2D动画制作流程中的线稿着色（colorization）。AniDoc能够将一系列草图（sketches）自动转换为彩色动画，同时遵循参考角色设计规范。该系统特别关注于减少2D动画制作中的劳动成本，通过强大的生成性AI技术，实现自动化的线稿着色过程。
- 项目主页：https://yihao-meng.github.io/AniDoc_demo
- GitHub：https://github.com/yihao-meng/AniDoc
- 模型：https://huggingface.co/Yhmeng1106/anidoc
- Demo：https://huggingface.co/spaces/fffiloni/AniDoc
- ComfyUI插件：https://github.com/LucipherDev/ComfyUI-AniDoc
例如，有一个动画项目，角色设计师提供了一个角色的设计图，动画师根据这个设计图绘制了一系列关键帧草图。使用AniDoc，可以直接将这些黑白草图转换成彩色动画，无需手动逐帧着色。例如，如果草图展示了角色在不同姿势下的动作，AniDoc能够识别并着色，使得最终的动画在保持角色设计一致性的同时，动作流畅且颜色准确。
主要功能和特点
- 自动化着色：AniDoc能够自动将线稿序列转换为彩色动画。
- 参考角色规范遵循：系统能够根据提供的参考角色设计来着色，确保动画中角色的外观与设计图保持一致。
- 时间一致性：AniDoc生成的动画在时间上保持一致，避免了色彩闪烁或不一致的问题。
- 鲁棒性：系统能够处理参考角色与线稿之间的角度、比例和姿势不匹配的问题。
- 稀疏草图输入：AniDoc支持从稀疏草图输入中创建动画，减少了动画师的工作量。
AniDoc的工作原理
1. 显式的对应机制和注入模块
AniDoc引入了一种显式的对应机制，将参考图像中的颜色信息精确对齐到输入草图中。通过注入模块，模型能够在不同帧之间传递颜色信息，确保颜色的一致性和准确性。这种机制有效解决了角色设计艺术与线稿草图之间的对齐问题。
2. 两阶段训练策略
为了减少对中间帧草图的需求，AniDoc采用了两阶段训练策略：
- 第一阶段：学习从关键帧到中间帧的颜色插值，生成平滑且连贯的动画。
- 第二阶段：进一步优化模型，提高时间一致性，确保动画帧之间的颜色过渡自然。
这种策略不仅减少了艺术家的工作量，还提高了上色过程的自动化程度。
3. 基于二值化草图的条件和数据增强
AniDoc通过基于二值化草图的条件设置，结合数据增强技术，提高了训练的稳定性。这使得模型能够更好地处理非二值化草图，避免颜色信息泄露，提升上色质量。
应用场景与灵活性
AniDoc在多种应用场景中表现出色，展示了其灵活性和适应性：
- 相同参考图像，不同草图：即使草图在姿势或比例上存在显著差异，模型也能生成一致的上色效果。
- 相同草图，不同参考图像：根据不同的参考图像，调整更精细的细节（如光照和背景），同时保留角色的身份特征。
- 稀疏输入草图：仅使用开始和结束草图，模型能够生成平滑且连贯的动画，减少了对密集中间帧的需求。
- 多个角色：即使参考图像包含多个角色，模型也能自动区分并应用正确的上色，即使角色姿势、角度或相对位置存在差异。
- 不同背景的参考图像：从参考图像中转移风格，生成具有不同背景风格的动画。
定量与定性结果
AniDoc在定量和定性评估中均表现出色，证明了其在自动线稿视频上色方面的有效性。模型生成的动画不仅色彩准确，而且时间一致性良好，显著提高了动画制作的效率。
局限性
尽管AniDoc在许多方面表现出色，但它仍然存在一些局限性：
- 新对象的上色不准确：当线稿片段包含参考图像中不存在的对象时，模型难以确定这些对象的适当颜色，只能根据现有颜色信息进行推断，可能导致上色不准确。
- 服装变化的处理：当线稿片段中角色的服装与参考图像中的服装不同时，模型只能根据参考图像中角色服装的颜色图案推断出合理的颜色，可能无法完全匹配实际需求。
评论0