新技术

阿里巴巴达摩院、复旦大学和湖畔实验室的研究人员推出Uni3C框架，通过统一的3D增强方法精确控制视频生成中的相机和人物动作。 项目主页：https://ewrfcas.github.io/Uni3C ...

视频生成是AI研究的一个热点领域，特别是在生成时间上一致、高保真的视频方面。这一领域涉及创建在帧之间保持视觉连贯性并在时间上保留细节的视频序列。近年来，机器学习模型，尤其是扩散变换器（DiTs），已成...

人像动画技术提供了一种超低成本且高效的方式，用于创建富有表现力和逼真的角色动画和视频素材。用户只需提供一个静态人像图像和一个驱动表演视频，模型就可以使用这些输入生成视频，通过将驱动表情转移到人像中的主...

Meta AI与阿卜杜拉国王科技大学的研究人员推出了一种新型视频生成模型家族——MarDini。这一模型家族通过将掩码自回归（MAR）技术与扩散模型（DM）相结合，开创了一种高效的视频生成方法。Mar...

尽管带有蒸馏的校正流（ReFlows）为快速采样提供了一种有前景的方法，但其快速反演过程——即将图像转换回结构化噪声以进行恢复和后续编辑——仍然面临挑战。具体来说，传统的ReFlow方法在反演过程中可...

草图动画作为一种强大的视觉叙事工具，从简单的手工翻页涂鸦发展到了专业的工作室制作，为创作者提供了无限的想象空间。然而，传统的动画制作过程复杂，不仅需要一支熟练的艺术家团队来绘制关键帧和中间帧，还要求艺...

特拉维夫大学的研究人员推出新型框架EdgeCape，它用于类别无关的姿态估计（Category-Agnostic Pose Estimation, CAPE）。EdgeCape能够通过单一模型在多样化...

人脸交换（Face Swapping）技术旨在将一个人的身份特征迁移到另一个人的面部图像或视频中，同时保留目标人物的表情、姿态、发型和背景等属性。近年来，随着生成模型的发展，人脸交换已能生成高度逼真的...

由 AI2（Allen Institute for AI） 推出的 FlexOlmo，正在重新定义语言模型的训练方式。 它提出了一种名为“数据协作”的新范式，让多个数据拥有者在不共享原始数据的前提下...

牛津大学、Snap和MBZUAI的研究人员介绍了一种名为DiTFlow的方法，它是一种专为DiT架构模型设计的运动转移方法。DiTFlow通过分析参考视频，提取出一种名为注意力运动流（Attentio...

MIT和斯坦福大学的研究人员推出一种语言驱动的顺序草图生成方法SketchAgent，能够让用户通过动态、对话式的交互来创建、修改和细化草图。例如，你想要生成一个关于“蝴蝶”的草图。你可以给Sketc...

在追求高质量、实时视频生成的过程中，研究人员和开发者们面临着一系列挑战。传统的视频生成模型往往因高昂的计算成本、有限的视频时长以及缺乏实时交互性而受到限制。特别是在需要长时间、高分辨率视频生成的应用场...