TEN

TEN（Transformative Extensions Network）是一个面向未来、专为对话式 AI设计的模块化语音代理框架。它不仅支持高性能实时多模态交互，还具备跨语言、跨平台、边缘与云端协同的能力，适用于构建复杂且高度定制化的 AI 代理系统。

TEN Framework 核心优势

✅ 原生支持高性能实时多模态交互

TEN 针对需要复杂视听场景的应用进行了深度优化，提供低延迟、高并发的交互体验。无论你是开发语音助手、虚拟客服还是沉浸式数字人，TEN 都能确保流畅自然的用户互动。

✅ 多语言与多平台支持

开发者可以使用多种主流编程语言（如 C++、Go、Python，未来还将支持 JavaScript/TypeScript）创建模块化扩展。TEN 支持以下平台：

• Windows
• macOS
• Linux
• Android
• iOS

这种跨平台能力使得 AI 应用能够灵活部署在桌面、移动端或嵌入式设备上。

✅ 边缘云集成

TEN 支持将部署在边缘和云环境中的扩展无缝整合，实现灵活的混合架构：

• 在边缘端运行轻量模型，降低延迟并提升隐私保护
• 在云端调用大型模型，实现更强推理能力
• 自动平衡成本与性能，满足不同业务场景需求

✅ 突破大模型局限的灵活性

TEN 允许开发者通过简单的拖放式响应式编程方式，构建超越单一 LLM 能力的 AI 应用。你可以轻松集成以下组件：

• 视听工具链（TTS/STT）
• 数据库与缓存系统
• RAG 检索引擎
• 监控与日志系统
• 第三方 API 接口

✅ 实时代理状态管理

TEN 提供完整的实时代理状态管理机制，使 AI 代理能够根据上下文动态调整行为，实现更智能的交互逻辑。

TEN Agent：由 TEN 驱动的对话式 AI 代理

TEN Agent 是基于 TEN framework 构建的完整 AI 代理系统，集成了多个前沿技术模块：

• Gemini 2.0 Live
• OpenAI Realtime
• RTC 实时通信
• 完全兼容 Dify 和 Coze 等流行工作流平台

TEN Agent 提供了丰富的开箱即用功能，包括实时语音识别、文本生成、图像理解等，适合用于构建个性化语音助手、智能客服、教育机器人等应用场景。

TEN Agent 架构概览

TEN Agent 项目由以下几个核心组件构成，便于开发者快速构建和部署：

TEN VAD：企业级实时语音活动检测系统

TEN VAD 是 TEN 生态中一个关键的语音处理模块，专为企业级对话系统设计。它提供帧级精度的语音活动检测，在准确性和效率方面均优于现有主流方案（如 WebRTC VAD 和 Silero VAD）。

• GitHub：https://github.com/ten-framework/ten-vad
• 模型：https://huggingface.co/TEN-framework/ten-vad
• Demo：https://huggingface.co/spaces/TEN-framework/ten-agent-demo

⚙️ 关键特性

1. 高性能

TEN VAD 在多个数据集（librispeech、gigaspeech、DNS Challenge）上展现出卓越的精确度和召回率，尤其在真实世界数据集中表现稳定。

2. 对代理友好

TEN VAD 能够毫秒级响应语音变化，显著降低人机交互系统的端到端延迟。相比 Silero VAD，其在语音-非语音切换检测中更加灵敏，避免遗漏短暂停顿。

3. 轻量化设计

TEN VAD 占用资源少、计算效率高，适合部署在资源受限的边缘设备上：

4. 多语言与平台支持

TEN VAD 提供 C 接口，并支持以下平台：

• Linux x64
• Windows x86/x64
• macOS arm64/x86_64
• Web（wasm）
• Android（armeabi-v7a / arm64-v8a）
• iOS（arm64）

5. 音频支持

• 输入采样率：16kHz（其他需重采样）
• 跳跃大小可配置（推荐 10ms 或 16ms）

快速入门指南

TEN VAD 提供动态链接库接口，适配多个平台：

你可以在 GitHub 仓库 中获取完整的 SDK、文档和示例代码，开始你的 TEN 开发之旅。