Pika H3 Flex

38 00

Pika H3 Flex 是 Pika 推出的面向专业影视迭代的后训练视频音频模型,基于 MiniMax-H3 主干开发,主打极速采样、多参考镜头控制,同时开放本地权重推理,兼顾本地离线运行与云端高清渲染。

作者
Pika
基础模型
MiniMax H3
Pika H3 Flex

Pika 正式推出 Pika H3 Flex,这是一款专为专业创作者设计的后训练视频与音频生成模型。该模型旨在提供更高的控制精度与生成效率,支持在六个采样步骤内,直接生成带有同步立体声音频的视频内容。

  • 官方主页:https://pika.art/pika-h3-flex
  • GitHub:https://github.com/Pika-Labs/Pika-H3-Flex
  • 模型:https://huggingface.co/Pika-Labs/Pika-H3-Flex
  • ComfyUI:https://huggingface.co/Comfy-Org/MiniMax-H3/tree/main/loras
  • ComfyUI工作流:https://docs.comfy.org/zh/tutorials/video/pika/pika-h3-flex
Pika H3 Flex

核心架构与生成机制

Pika H3 Flex 是一个视频和音频模型家族,底层构建在 MiniMax-H3 基础架构之上。为了实现更精细的镜头指导,系统引入了两个专门的任务适配器:

  • FL2VA Lora:专门处理文本提示以及首帧或尾帧的条件化生成任务。
  • Ref2VA Lora:专注于处理复杂的多模态参考输入,支持通过参考素材引导生成过程。

在推理管道中,系统会首先对输入的提示词和媒体素材进行编码。随后,利用选定的 Pika H3 Flex 适配器生成视频和音频的潜在表示(Latent Representations),最后将其解码并组合为标准的 MP4 文件。系统会自动下载固定的基础组件与适配器,确保生成过程的一致性。

输入输出规格与参数细节

该模型对输入输出的规格进行了严格定义,以满足专业工作流的标准化需求。

  • 输入模态:支持纯文本,或结合首/尾图像,以及图像、视频和音频参考(视具体模式而定)。
  • 原生输出分辨率:支持 480p 和 768p,涵盖 11 种标准宽高比(如 16:9、9:16、1:1 等),具体像素尺寸遵循预设的分辨率桶。
  • 输出时长与帧率:支持请求 5 至 15 秒的整数时长,固定输出帧率为 24 fps。
  • 时长对齐机制:实际输出长度会向上舍入以匹配模型的帧网格。例如,请求 5 秒会生成 124 帧(约 5.17 秒),请求 15 秒会生成 362 帧(约 15.08 秒)。
  • 音频与文件格式:输出包含 32 kHz 立体声音频,最终封装为带有 H.264 视频和 AAC 音频的 MP4 文件,并附带 JSON 生成元数据。
  • 提示词限制:支持 1 至 8,000 个字符的文本或 UTF-8 提示文件。

五大生成模式与参考限制

为了适应不同的创作场景,Pika H3 Flex 提供了五种明确的生成模式,每种模式对应特定的适配器与 CLI 任务:

  1. 文本到视频和音频 (t2va):仅使用文本提示,无输入媒体。
  2. 首帧条件化 (i2va):文本提示加上一个开头图像帧。
  3. 尾帧条件化 (l2va):文本提示加上一个结尾图像帧。
  4. 首尾帧条件化 (fl2va):文本提示加上首尾两个端点图像帧。
  5. 多模态参考 (ref2va):文本提示加上有序的图像或视频参考,可选配音频参考。

在多模态参考模式下,系统对输入素材有明确的容量限制:最多支持 9 个图像、3 个视频和 3 个独立音频片段,总计不超过 12 个参考文件。其中,每个视频或独立音频片段的时长必须在 2 至 15 秒之间,且合并后的视频总时长与独立音频总时长各自不得超过 15 秒。

相关图书

TaoMate-H3

TaoMate-H3

TaoMate-H3 是阿里巴巴 TaoLive AIGC 团队开发的低延迟流式音视频生成运行时,底层基于 MiniMax H3,以小块分片形式同步生成音频与视频,支持 480p、768p、1080p 横竖屏分辨率的长连续视频生成。
MiniMaxImage_hdr_diffusers_vae

新MiniMaxImage_hdr_diffusers_vae

社区发布了第三方开发的 MiniMaxImage_hdr_diffusers_vae(简称 HDR VAE)。该变分自编码器(VAE)并非官方原生组件,而是专为优化 MiniMax-H3 的重建与增强工作流而设计。
MiniMax-H3-PTD-RefAsymOPD-LoRAs

MiniMax-H3-PTD-RefAsymOPD-LoRAs

MiniMax-H3 Ref2VA PTD + RefAsymOPD 加速 LoRA 代表了当前参考图像到音视频生成领域的一项高效工程实践。它通过精巧的同策略蒸馏设计,成功打破了“推理速度”与“生成质量”之间的传统权衡,为需要在本地或云端进行高频、高质量 Ref2VA 生成的开发者和创作者,提供了一套低成本、高保真且易于集成的解决方案。
MiniMax-H3-Turbo

MiniMax-H3-Turbo

阿里系呜里科技(Wuli)推出MiniMax-H3-Turbo,基于MiniMax-H3模型做加速优化,把音视频生成压缩至最少4步即可完成。项目提供4步、6步、8步三套变体,开发者可以在速度与生成效果之间灵活取舍。