infinite-tv

infinite-tv 是一个创新的实时 AI 视频生成演示项目，它将 Twitch 聊天室的实时互动转化为动态的视觉内容。通过监听聊天消息，系统利用 LTX Video 模型生成上下文相关的视频片段，并通过 RTMP 协议直接推流到 Twitch 或其他支持 RTMP 的平台。该项目基于 FAL 无服务器基础设施和现代 React 仪表板构建，实现了从文本指令到实时视频流的无缝闭环。

核心功能亮点

• 实时聊天驱动视频：
  • 监听指定 Twitch 频道的聊天消息。
  • 利用 LLM（如 OpenAI/Groq）理解聊天语境，生成相应的视频提示词。
  • 实时合成视频并推流，让观众看到他们的评论“变成”了画面。
• 双模型支持：
  • LTX v1：本地 HuggingFace 管道，完全可定制，适合本地调试或私有部署。
  • LTX v2 Preview (fal.ai)：托管的 22B 参数快速模型，输出更清晰、推理速度更快，支持高达 4K 分辨率。
• 无服务器弹性扩展：
  • 基于 FAL GPU 基础设施部署，自动处理高并发请求和算力调度。
  • 支持连续生成模式，确保视频流无缝循环，保持上下文连贯性。
• 实时监控仪表板：
  • 基于 Next.js 构建的 React 前端，提供生成指标、队列状态、性能数据的实时可视化。
  • 支持动态文本叠加，可在生成的视频上实时显示关键信息或聊天摘要。

技术架构

• 后端：Python + FAL Serverless Functions。负责聊天监听、提示词工程、视频生成及 RTMP 推流。
• 前端：Next.js + React。提供用户交互界面，通过 API 代理与 FAL 端点通信。
• 模型：LTX Video (v1/v2)，目前最先进的开源视频生成模型之一。
• 通信：WebSocket 用于实时指标传输，HTTP API 用于控制流启停。

快速开始指南

1. 环境准备

确保已安装 Python 3.11+、Node.js 18+ 和 FFmpeg。你需要以下 API 密钥：

• FAL API Key：用于视频生成算力。
• OpenAI/Groq API Key：用于聊天内容理解与提示词优化。
• Twitch Stream Key：用于接收推流。

2. 后端部署 (FAL)

git clone <repository-url>
cd realtime-ltx-video-generation-demo
python -m venv venv && source venv/bin/activate
pip install -e .

# 配置 .env 文件 (填入 API Keys 和 Twitch 信息)
# TWITCH_CHANNEL=shroud
# TWITCH_STREAM_KEY=live_xxxxx...
# FAL_KEY=fal_xxxxx...
# OPENAI_API_KEY=sk-xxxxx...

# 部署到 FAL
fal deploy realtime-streaming
# 记录输出的同步端点 URL

3. 前端仪表板启动

cd dashboard
npm install

# 创建 .env.local
cat > .env.local << EOF
NEXT_PUBLIC_FAL_API_URL=https://fal.run/your-username/realtime-streaming
FAL_KEY=your_fal_api_key_here
EOF

npm run dev

访问 http://localhost:3000 即可打开控制面板，点击“Start Stream”开始直播。

配置与调优

应用场景

• 互动直播实验：主播开启“观众决定画面”模式，聊天内容直接驱动背景或特效视频。
• 艺术装置：在公共场所展示由社交媒体情绪驱动的实时视觉艺术。
• 营销活动：品牌直播间通过关键词触发特定的品牌宣传视频片段。