CyberVerse 

CyberVerse 是一个开源的数字人智能体平台，旨在让 AI 智能体“活”起来。它支持低延迟、无限时长的实时视频通话，让你能与一个能看、能听、能面对面交流的 AI 进行自然互动。只需一张照片，即可生成具备实时面部动画、自然口型同步和待机呼吸感的数字人，无需复杂的 3D 建模或动作捕捉。

核心亮点

1. 真正的实时视频通话

• 低延迟交互：基于 WebRTC 和 P2P 流传输，首帧延迟约 1.5 秒，实现近乎面对面的交流体验。
• 非预录/非回合制：告别僵硬的问答模式，支持无限时长的连续对话与视觉反馈。
• NAT 穿透：内置 TURN 服务，确保在复杂网络环境下也能稳定连接。

2. 数字人即 Agent

• 模块化组装：大脑（LLM）、面孔（Avatar）、声音（TTS）、听觉（ASR）均可通过 YAML 配置灵活插拔。
• 多模型支持：目前支持 FlashHead（偏重速度与画质平衡）和 LiveAct（偏重高保真）两套主流数字人驱动模型。
• 单图生成：上传一张静态照片，即可驱动生成具有丰富表情和微动作的动态数字人。

3. 开放与可扩展

• 插件化架构：支持接入不同厂商的 LLM、TTS、ASR 服务（目前默认集成豆包语音大模型）。
• 开发者友好：提供 Web 组件或 SDK，方便将自部署实例嵌入自有网站或应用。

硬件要求与性能基准

实时视频通话对 GPU 算力有较高要求。以下是主要模型的运行基准：

建议：若显存或算力有限，请选择 FlashHead Lite 模式或降低分辨率以保持流畅度。

快速开始

1. 环境准备

• 系统：Linux / Windows (WSL2 推荐)
• 依赖：Python 3.10+, Node 18+, Go 1.22+, PyTorch 2.8 (CUDA 12.8), FFmpeg (含 libvpx)
• GPU：支持 CUDA 12.8+ 的 NVIDIA 显卡

2. 安装步骤

# 1. 克隆仓库
git clone https://github.com/dsd2077/CyberVerse.git
cd CyberVerse

# 2. 创建 Python 环境
conda create -n cyberverse python=3.10
conda activate cyberverse

# 3. 配置环境变量
cp infra/.env.example .env
# 编辑 .env，填入豆包语音 API Key (DOUBAO_ACCESS_TOKEN, DOUBAO_APP_ID)

# 4. 下载模型权重 (以 FlashHead 为例)
pip install "huggingface_hub[cli]"
huggingface-cli download Soul-AILab/SoulX-FlashHead-1_3B --local-dir ./checkpoints/SoulX-FlashHead-1_3B
huggingface-cli download facebook/wav2vec2-base-960h --local-dir ./checkpoints/wav2vec2-base-960h

# 5. 更新配置
# 编辑 cyberverse_config.yaml，确认 checkpoint_dir 路径正确

# 6. 安装加速库 (可选但推荐)
pip install sageattention==2.2.0 --no-build-isolation
pip install flash_attn==2.8.0.post2 --no-build-isolation

# 7. 安装项目依赖
make setup

3. 启动服务 (需开启三个终端)

• 终端 1 (推理服务): make inference (等待日志显示 Active avatar model initialized)
• 终端 2 (API 服务): make server
• 终端 3 (前端界面): make frontend

4. 访问

浏览器打开 http://localhost:5173，上传照片，开始你的第一次视频通话。

未来路线图

1. 数字人创建平台：支持角色 CRUD、多参考图驱动、声音克隆、RAG 知识库导入及 Face-to-face 视觉线索理解。
2. 数字人智能体：引入跨会话长期记忆、工具使用、函数调用及工作流执行能力。
3. 智能体网络：实现 Agent-to-Agent 通信，支持多智能体协作、委派及共享记忆，构建开放的智能体互联生态。