新加坡国立大学的研究人员推出Impossible Videos项目，即“不可能视频”。这项研究旨在通过创建和评估“不可能视频”来挑战和推进视频理解和生成模型的能力。不可能视频是指那些在现实世界中不可能发生的、违反物理、生物、地理或社会规律的视频内容。
- 项目主页：https://showlab.github.io/Impossible-Videos
- GitHub：https://github.com/showlab/Impossible-Videos
- 数据集：https://huggingface.co/datasets/showlab/ImpossibleVideos
然而，一个强大的视频生成模型应该能够根据文本提示生成这样的视频，同时一个优秀的视频理解模型应该能够识别出视频中的不可能现象。这项研究通过构建一个包含各种不可能场景的基准数据集（IPV-BENCH），来评估当前视频模型在这些任务上的表现。
例如，一个物体在不受外力作用下自行移动，或者一个生物展现出不符合其生物学特征的行为。这些视频为评估视频模型在处理非现实场景时的推理和生成能力提供了一个独特的测试平台。
主要功能
- 视频生成评估：通过不可能视频的生成任务，评估视频生成模型是否能够根据文本提示生成违反现实规律的视频内容。
- 视频理解评估：通过不可能视频的理解任务，评估视频理解模型是否能够识别视频中的不可能现象，并进行合理的推理。
- 基准数据集构建：构建了一个包含多种不可能场景的基准数据集（IPV-BENCH），包括详细的分类体系和高质量的视频样本。
- 提示套件构建：构建了一个包含260个文本提示的提示套件（IPV-TXT），用于指导视频生成模型生成不可能视频。
主要特点
- 全面的分类体系：IPV-BENCH基于一个详细的分类体系，涵盖物理定律、生物定律、地理定律和社会定律四大领域，进一步细分为14个子类别。
- 高质量的视频样本：IPV-VID包含902个高质量的不可能视频，每个视频都经过人工标注，确保其符合不可能场景的定义。
- 多任务评估：通过判断任务、多项选择任务和开放式问答任务，全面评估视频理解模型的能力。
- 自动评估方法：提出了一种自动评估方法，通过计算视频质量分数和不可能提示遵循分数的乘积来评估模型生成不可能视频的能力。
工作原理
- 分类体系构建：
- 领域划分：将不可能视频分为物理定律、生物定律、地理定律和社会定律四大领域。
- 子类别划分：每个领域进一步细分为多个子类别，例如物理定律下的力学、热学、光学等。
- 文本提示生成：基于分类体系，生成260个描述不可能场景的文本提示，形成IPV-TXT。
- 视频样本收集：
- 生成视频：使用10个最先进的文本到视频（T2V）模型，根据IPV-TXT中的文本提示生成2600个合成视频。
- 网络视频收集：从互联网上收集155个不可能视频，主要来源包括商业视频生成模型的社区网站和用户分享的视频。
- 真实世界视频：从OpenVid数据集中收集650个真实世界视频，通过CLIP模型筛选与AI生成视频内容一致的视频。
- 人工标注：
- 视频过滤：通过自定义标注工具，筛选出高质量且符合不可能场景的视频。
- 详细标注：对筛选后的视频进行详细标注，包括空间或时间异常、分类标签和不可能现象的解释。
- 任务设计：
- 判断任务：要求模型判断输入视频是否由AI生成。
- 多项选择任务：要求模型从多个选项中选择最能描述视频中不可能现象的答案。
- 开放式问答任务：要求模型独立识别并解释视频中的不可能现象。
应用场景
- 视频生成：
- 创意视频制作：在电影、广告和游戏制作中，生成违反现实规律的创意视频，提供独特的视觉效果。
- 教育和培训：生成不可能视频用于教育目的，帮助学生理解物理、生物和地理等领域的基本原理。
- 视频理解：
- 内容审核：自动检测和识别视频中的不可能或异常内容，用于内容审核和安全监控。
- 智能视频分析：在智能视频监控系统中，识别异常行为或事件，提高系统的鲁棒性和准确性。
- 研究和开发：
- 模型评估：通过不可能视频评估视频模型的推理和生成能力，发现现有模型的局限性并指导未来研究方向。
- 技术验证：验证新开发的视频理解和生成技术在处理复杂和非现实场景时的有效性。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
