FramePack Studi最新版

FramePack Studio 是 FramePack 演示脚本的升级版，专注于创建具有更高提示遵循性的复杂视频场景。尽管该项目仍在开发中，可能存在一些未完善的功能或 Bug，但它已经展现出强大的潜力，为创作者提供了一个灵活且高效的工具来生成高质量的动态视频内容。

• 官方文档：https://docs.framepackstudio.com

核心特点

• 复杂场景支持
  FramePack Studio 支持通过时间戳提示生成动态变化的视频场景，能够实现提示之间的平滑过渡，从而生成连贯且自然的视觉效果。
• LoRA 集成
  用户可以通过加载 LoRAs（低秩适应模型）来定制生成风格，并根据需要调整权重，以满足特定的创作需求。
• GPU 加速
  借助兼容 CUDA 的 GPU，FramePack Studio 能够高效处理复杂的视频生成任务，显著提升渲染速度和质量。
• 共享与协作
  内置 Gradio 界面支持公共链接生成，方便用户与他人共享创作成果或进行远程协作。

当前功能

• F1、原始和视频扩展生成：全部在一个队列中运行
• 最终帧控制（适用于“原始”模型）：提供对生成的更大控制
• 上行转换和后期处理
• 时间戳提示：在视频的特定时间段定义不同的提示
• 提示融合：定义时间戳提示之间的融合时间
• LoRA 支持：支持大多数（全部？）Hunyuan Video LoRA
• 队列系统：处理多个生成任务而不阻塞界面，支持导入和导出队列
• 元数据保存/导入：提示和种子编码到输出的 PNG 文件中，其他生成元数据保存在可稍后导入的 JSON 文件中以进行类似生成
• 自定义预设：允许在命名的参数组之间快速切换，还可以设置自定义启动预设
• I2V 和 T2V：支持带或不带输入图像的生成，以在使用标准 Hunyuan Video LoRA 时提供更多灵活性
• 潜在图像选项：在使用 T2V 时，可以基于黑色、白色、绿色屏幕或纯噪声图像生成

版本 0.5

功能：

• 新增 MagCache，现为默认缓存机制
• 使用 IBM 的 Granite LLM 进行提示增强
• 使用微软的 Florence2 LLM 进行图像字幕生成
• Docker 镜像自动构建，可在 https://hub.docker.com/r/colinurbs/fp-studio 获取
• 新增（可选的）更大潜在预览区域
• 改进了从噪声开始的 T2V 生成，现为默认潜在选项

注意：由于用于字幕生成和提示增强的新 LLM，增加了新的依赖项。LLM 模型需要 6.25GB 的存储空间。首次使用相应功能时将下载这些模型。

前提条件

在使用 FramePack Studio 之前，请确保你的系统满足以下要求：

• Python 版本：3.10 或更高版本
• 硬件配置：

  • 兼容 CUDA 的 GPU
  • 至少 8GB 显存（推荐 16GB+）

安装与运行

FramePack Studio 提供了两种安装方式，用户可以根据自己的需求选择适合的方法：

方法一：通过 Pinokio 社区脚本安装

1. 在 Pinokio 社区脚本中搜索“FP-Studio”并安装。
2. 安装完成后即可直接运行。

方法二：手动安装

1. 将项目克隆到本地：git clone https://github.com/colinurbs/FramePack-Studio.git
2. 使用 install.bat 文件完成安装。
3. 运行 run.bat 启动程序，或使用 update.bat 更新到最新版本。

附加命令行选项

• --share：创建一个公共 Gradio 链接，方便与他人共享界面。
• --server：指定服务器地址（默认为 0.0.0.0）。
• --port：设置自定义端口号。
• --inbrowser：启动后自动在浏览器中打开界面。

LoRAs 的使用

FramePack Studio 支持通过 LoRAs 自定义生成风格。以下是具体操作步骤：

1. 将下载的 LoRA 文件放入安装根目录下的 /loras/ 文件夹中。
2. 在界面中选择要加载的 LoRAs，并为每次生成设置权重。
3. 开始生成视频时，系统会根据所选 LoRAs 的权重调整生成效果。

注意：目前 LoRA 加载速度较慢是一个已知问题，开发者正在努力优化这一部分。

时间戳提示的使用

FramePack Studio 的一大亮点是支持通过时间戳提示生成动态变化的视频。你可以使用以下语法定义随时间变化的提示：

[0s: A serene forest with sunlight filtering through the trees ]
[5s: A deer appears in the clearing ]
[10s: The deer drinks from a small stream ]

每个时间戳定义了提示开始影响生成的时间点。系统会尝试在不同提示之间实现平滑过渡，从而生成连贯且自然的视频内容。

示例场景：

• 开场：宁静的森林环境，营造氛围。
• 发展：动物逐渐出现，增加动态感。
• 高潮：动物与环境互动，例如饮水或奔跑，增强画面吸引力。