FluxRT：在 RTX 5090 上实现 40 FPS 实时 FLUX.2 图像编辑，支持交互式提示与参考图控制，延迟低至 0.2 秒

传统的图生图或视频生视频工作流往往受限于高昂的计算成本和漫长的等待时间，难以满足实时交互需求。Flux Real-Time (FluxRT) 是一个专为消费级高端 GPU 设计的实时图像编辑流水线，能够以极低的延迟处理来自网络摄像头、视频文件或实时输入的连续帧。

• GitHub：https://github.com/tensorforger/FluxRT

基于强大的 FLUX.2-Klein Instruct 图像编辑模型，FluxRT 不仅支持实时提示词更新和参考图像条件控制，更通过独创的空间 KV 缓存技术，在单张 NVIDIA RTX 5090 上实现了 512×512 分辨率下 20–40 FPS 的流畅体验，端到端延迟仅约 0.2 秒。

核心亮点：实时、交互、高效

1. 极致实时性能

• 高帧率输出：在 RTX 5090 上稳定运行于 20–40 FPS，满足直播、互动艺术等实时场景需求。
• 超低延迟：端到端延迟约 0.2 秒，几乎无感知的响应速度，确保交互的自然流畅。
• 连续流式推理：不同于离线批处理，FluxRT 专为连续视频流设计，保持时间一致性。

2. 强大的交互与控制能力

• 实时提示词更新：在视频流播放过程中，随时修改提示词，画面即时响应变化。
• 参考图像条件控制：原生支持 FLUX.2 的参考图功能，可实现实时虚拟试穿、风格迁移等复杂任务。
• 交互式应用：完美适配 AI VTuber、实时风格化滤镜、虚拟试衣间、交互式绘画工具等场景。

3. 创新的空间 KV 缓存技术

• 时间一致性利用：利用相邻帧之间扩散轨迹的高度相似性，选择性缓存并重用中间计算结果。
• 空间感知重用：不仅缓存文本和参考图 Token，还扩展至视频中静态或缓慢变化的背景区域。
• 显著减负：每帧仅需重新计算 20–50% 的 Token，大幅降低 GPU 负载，提升吞吐量。

4. 平滑视觉体验

• RIFE 帧插值：集成 RIFE 模型进行实时帧插值，在模型输出之间生成中间帧，显著提升运动平滑度，而不增加核心推理延迟。
• 多进程架构：解耦输入、推理与输出调度，通过共享内存实现近乎零拷贝的数据传输，最小化系统开销。

技术架构详解

1. 空间 KV 缓存 (Spatial KV Cache)

FluxRT 对修正流模型（Rectified Flow Models）进行了定制化优化：

• 缓存策略：按 Token、层、扩散步骤缓存键值对。
• 跳过计算：在注意力层、前馈网络（FFN）、线性投影等环节，直接复用缓存值，跳过冗余计算。
• 动态更新：仅对变化区域（如移动物体、新提示词影响区）进行全量计算。

2. 多进程与共享内存

• 主进程：处理非阻塞 I/O，管理 UI 和用户交互。
• 推理进程：独占 GPU 资源，顺序执行生成循环。
• 输出调度进程：负责帧插值与流式输出，确保播放时序平滑。
• 通信优化：使用共享内存（Shared Memory）传递帧数据，避免序列化/反序列化开销。

3. 模型编译优化

• TorchInductor：所有模型组件均经过 TorchInductor 编译，最大化运行时性能，挖掘 GPU 算力潜力。

快速开始

1. 系统要求

• GPU: NVIDIA RTX 5090 或更高（需 32GB+ VRAM）
• RAM: 64 GB（推荐）
• Python: 3.12+
• CUDA: 12.8+

2. 安装依赖

git clone https://github.com/tensorforger/FluxRT
cd FluxRT

conda create -n fluxrt python=3.12 pip -y
conda activate fluxrt

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
pip install -r requirements.txt
pip install -e .

3. 下载模型

RIFE 帧插值模型

git clone https://huggingface.co/TensorForger/RIFE-safetensors

FLUX.2-klein-4B 模型

git clone https://huggingface.co/black-forest-labs/FLUX.2-klein-4B

目录结构确认

FluxRT/
├── RIFE-safetensors/
│   └── flownet.safetensors
└── FLUX.2-klein-4B/
    ├── model_index.json
    ├── scheduler/
    ├── text_encoder/
    ├── tokenizer/
    ├── transformer/
    └── vae/

4. 运行演示

Gradio Web UI（推荐）
支持实时提示词编辑、参考图切换、Webcam 输入。

python scripts/run_gradio_demo.py
# 访问 http://127.0.0.1:7860/

OpenCV 本地演示

python scripts/run_cv2_demo.py

处理本地视频

python scripts/process_local_video.py --input input.mp4 --output out.mp4 --prompt "Turn this into oil on canvas art"

性能基准测试

python scripts/run_benchmark.py

注意事项

• 硬件门槛高：目前优化主要针对 RTX 5090 (32GB VRAM)，较低显存显卡可能无法运行或帧率极低。
• 模型体积大：FLUX.2-Klein-4B 模型较大，需确保足够的磁盘空间和下载带宽。
• Python 版本：严格依赖 Python 3.12+ 和 CUDA 12.8+，请仔细配置环境。