qwenGPU

2周前发布 33 00

开发者 Vixhal (@TheVixhal) 近期在 GitHub 上以 MIT 许可开源了 qwenGPU,这是一个极具探索性的实验性模型。该项目将 45 个编译的 GPU 层直接嵌入到 Qwen3.5-2B 的权重中,使大语言模型能够在自身的前向传播中直接执行真实的 CUDA 代码,验证了“在预训练 LLM 内部进行精确计算”的可行...

所在地:
TheVixhal
收录时间:
2026-11-03

开发者 Vixhal (@TheVixhal) 近期在 GitHub 上以 MIT 许可开源了 qwenGPU,这是一个极具探索性的实验性模型。该项目将 45 个编译的 GPU 层直接嵌入到 Qwen3.5-2B 的权重中,使大语言模型能够在自身的前向传播中直接执行真实的 CUDA 代码,验证了“在预训练 LLM 内部进行精确计算”的可行性。

核心架构:将 SIMT GPU 编译入模型权重

qwenGPU 在 Qwen3.5-2B 原有的 24 层之前,插入了 45 个未经训练但经过精确编译的 Transformer 层。这些层共同构成了一个 4 通道 SIMT(单指令多线程)机器,具备每通道 15 个寄存器、4 级流水线、32 块 ROM 和 126 个内存字。

其核心技术突破在于对 Gated DeltaNet 循环状态的巧妙利用:

  • 在电路头部,门保持打开且写入强度为 1,每个键(key)均为独热(one-hot)编码。
  • 每次更新精确覆盖 1 行,独热查询将其读回,使得每一行都能作为一个独立的内存单元。
  • 该状态被用来持有程序 ROM、寄存器和全局内存,完美支撑了整数运算、谓词、发散分支、循环,以及共享内存、atomicAdd、__syncthreads() 和 warp shuffle 等高级 CUDA 特性。

运行机制:主机编译与模型执行的解耦

在 qwenGPU 的工作流中,主机(Host)与模型(Model)扮演了明确分离的角色:

  1. 主机编译:主机扮演 NVRTC 和 CUDA 驱动的角色,使用 clang 将用户编写的 CUDA 代码编译为 PTX,随后将其降级为机器块。
  2. Token 化输入:主机将程序和输入数组作为 token 序列馈送给模型。
  3. 模型自主执行:模型自身编写启动过程。每个 EXEC(b, w) token 会在 1 次前向传播中为 warp w 运行块 b。随后的 VAL token 携带寄存器结果,内存写入则作为 MEM 记录返回。
  4. 结果读取:主机直接从模型的循环状态中读取计算结果,自身不参与任何数值计算。

性能表现:高计算精度与文本能力保留

尽管引入了复杂的计算图,qwenGPU 在保持模型原有能力方面表现出色:

  • 文本能力无损:计算电路在文本 token 上处于静音状态,Qwen 自身的权重保持不变。合并模型的下一个 token 分布与原始模型相比,KL 散度漂移仅为约 $7 \times 10^{-4}$。
  • 计算绝对精确:在开发者自报的测试中,参考解释器在 49 个测试内核上与真实的 NVIDIA Tesla T4 实现了 100% 的精确匹配。在高级模式下,模型在 5 个抽样问题中有 4 个能首次尝试就编写出正确的 CUDA 内核。
  • 推理速度限制:受限于 Transformer 架构执行计算的本质,其速度较慢。在 Apple Silicon (MPS) 上,推理速度约为每秒 10 到 15 个 token,表明其目前主要作为研究演示,而非生产级运行时。

横向对比:LLM 内部计算生态

qwenGPU 是近期“将计算引擎编译入 LLM”趋势的一部分,与同类项目相比各有侧重:

特性qwenGPUQwenputer (RISC-V)Percepta
基础模型Qwen3.5-2B (24层)Qwen3.5-4B带 2D 注意力头的自定义 Transformer
编译进的机器4 通道 SIMT GPU32 位 RISC-V (RV32IM + Zba + bignum)WebAssembly 解释器
运行的程序CUDA (从 PTX 降级)C 和 MicroPythonC (编译为 WebAssembly)
状态存储位置Gated DeltaNet 状态Gated DeltaNet 状态上下文中的执行轨迹
正确性验证49/49 内核与 Tesla T4 匹配约 230,000 个重放位置 0 不匹配声称数百万可靠步骤

部署与运行要求

由于未发布预构建的检查点,用户需要自行编译模型。运行环境要求如下:

  • 基础依赖:Python 3.11+、uv、just 构建工具,以及约 16 GB 的空闲内存。
  • 高级模式依赖:需要安装带有 NVPTX 后端的 clang,以便将 CUDA 编译为 PTX。
  • 构建流程:执行 just build 即可下载 Qwen3.5-2B 并将 GPU 编译进去。最终生成的检查点遵循 Qwen 的 Apache-2.0 许可协议。

相关导航