RWKV Runner 最新版

RWKV Runner 是由 RWKV 开源社区成员 josStorer 开发的一款开源工具，用于管理和启动本地 RWKV 模型。它体积小巧（仅约 10MB，不含依赖项），提供了丰富的功能，让用户可以轻松体验基于 RWKV 模型的多种 AI 功能，如聊天、写作和作曲交互等。

• 英文官网：https://www.rwkv.com
• 中文官网：https://rwkv.cn
• GitHub：https://github.com/BlinkDL/RWKV-LM
• GitHub：https://github.com/josStorer/RWKV-Runner
• 模型：https://huggingface.co/BlinkDL

功能特点

1. 基础功能

• 聊天功能
  RWKV Runner 提供开箱即用的聊天功能，用户可以与 AI 进行畅聊，提出问题并获取建议。

• 写作功能
  根据用户提供的文本内容，RWKV Runner 可以进行续写、翻译等任务，帮助用户完成写作需求。

• 作曲功能
  支持基于 MIDI 格式的乐谱创作和续写，并提供播放功能。MIDI是一种音乐数字化协议，用于描述音符、旋律、节奏等音乐元素。

2. 技术特性

• RWKV 模型管理与一键启动
  用户可以通过 RWKV Runner 轻松管理 RWKV 模型，并一键启动模型服务。
• 前后端分离
  支持单独部署前端服务、后端推理服务或带 WebUI 的后端推理服务。
  • 简明服务部署示例：适合快速部署。
  • 服务器部署示例：适合需要高性能和扩展性的场景。
• 与 OpenAI API 兼容
  RWKV Runner 提供与 OpenAI API 兼容的接口，任何支持 ChatGPT 的客户端都可以无缝切换为 RWKV 客户端。启动模型后，访问 http://127.0.0.1:8000/docs 查看 API 文档。
• 全自动依赖安装
  用户只需运行一个轻量级的可执行程序，所有依赖项将自动安装。
• 多级显存配置
  提供多种显存配置策略，适用于各种电脑硬件。通过配置页面切换到 WebGPU，还可以在 AMD 和 Intel 显卡上运行。
• 用户友好的交互界面
  内置聊天、续写和作曲交互页面，支持以下功能：
  • 聊天预设
  • 附件上传
  • MIDI 硬件输入
  • 音轨编辑
• 内置 WebUI 选项
  一键启动 Web 服务，共享硬件资源，方便用户通过浏览器访问。
• 易于操作的参数配置
  提供详细的参数配置和操作引导提示。
• 内置工具
  • 模型转换工具
  • 下载管理
  • 远程模型检视
  • 一键 LoRA 微调（仅限 Windows）
• 多语言支持
  提供多语言界面，方便不同语言背景的用户使用。
• 主题切换与自动更新
  支持主题切换，自动检测并更新到最新版本。

RWKV 模型简介

RWKV（读作“R Wa Ku V”）是一种高性能的 RNN 架构，具有类似 GPT 级别的大型语言模型（LLM）性能。它结合了 RNN 和 Transformer 的优点，具备以下特点：

• 出色的性能：与 GPT Transformer 相当的性能表现。
• 恒定的显存占用：推理过程中显存占用保持不变。
• 恒定的推理速度：生成速度稳定。
• 无限上下文长度（ctxlen）：理论上支持无限长的上下文。
• 免费的句嵌入：无需额外计算即可获取句子嵌入。
• 无自注意力机制：完全不依赖自注意力（attention）机制。

架构版本

RWKV 模型有多个正式版本：

• RWKV-4
• RWKV-5（代号 Eagle）
• RWKV-6（代号 Finch）
• RWKV-7（代号 Goose，最新版本）

RWKV-7 是最新的架构版本，采用动态状态演化（Dynamic State Evolution），突破了传统 attention 和 linear attention 的性能限制。

RWKV 模型的版本状态

从 RWKV-4 架构开始，RWKV 在每个架构版本都发布了多种参数规模的开源模型。

截至 2025 年 2 月，RWKV-4、RWKV-5 模型的生命周期已结束。推荐使用最新的 RWKV-7-world 模型。得益于最新的架构设计，RWKV-7 模型在所有任务上的表现都更好。

开源社区与支持

RWKV 项目由彭博（Bo Peng，BlinkDL）提出，逐渐发展成为一个开源社区。2023 年 9 月 20 日，RWKV 开源项目正式加入 Linux 开源基金会，成为开源非盈利组织的一部分。