NIGHTRUN

NIGHTRUN 是一个直接从固件启动、无需传统操作系统的本地大语言模型运行终端。它绕过Linux用户空间与内核，以单一UEFI应用程序形式加载量化模型至内存，在帧缓冲区绘制终端界面并提供聊天交互。整个运行过程不依赖网络栈、浏览器或宿主进程，存储介质在模型加载完成后被永久封印，任何后续磁盘读取均触发硬故障。项目使用Rust编写，关键模块采用no_std，支持x86_64 PC（USB启动）与Raspberry Pi 5（SD卡启动），模型大小1.3–2.4 GB，完全离线运行。

启动流程与安全机制

NIGHTRUN的运行生命周期高度确定且不可逆：

1. 安装阶段：运行install.sh构建可启动镜像，脚本仅列出可移动整盘设备，并要求用户逐字输入FLASH /dev/sdX确认写入，防止误刷系统盘
2. 启动阶段：机器固件直接加载NightRun UEFI应用，无OS引导过程
3. 加载阶段：模型从介质流式读入RAM，每段数据实时校验CRC-32，验证失败立即中止
4. 封印阶段：模型完全驻留内存后，存储访问被主动禁用，生成过程永不触盘
5. 交互阶段：用户在自绘终端中与CPU推理的模型对话，设备成为专用LLM终端

此设计确保运行环境纯净、状态可预测，且杜绝运行时数据泄露或篡改可能。但代价是功能极度单一——除聊天外无任何其他能力。

技术实现与正确性保障

运行时架构

• 单一UEFI应用，集成GOP帧缓冲区渲染、位图字体、USB键盘输入（含插入符编辑与回滚）
• x86_64通过固件MP服务启用多核推理；Pi 5额外驱动RP1风扇（因无其他组件可执行）
• 串行端口提供诊断输出，便于调试启动或推理异常

模型处理

• 专用.nrm容器格式，由nrconvert工具从GGUF转换而来
• 支持Q8_0、Q4_K、Q6_K、F32量化，权重就地使用，无反量化副本
• 提示词批量处理（≤64 token/轮），比特级等价于逐token解码
• 生成循环零内存分配，避免碎片与GC开销

正确性验证

• 贪婪输出逐token与llama.cpp锁定对比，覆盖所有支持模型家族
• 分词器与聊天模板分别对标Hugging Face官方实现
• 内核变更若破坏匹配即判定为错误，该规则已捕获真实缺陷
• 新架构需显式引擎适配与参考验证，转换器对不支持变体明确拒绝并说明原因

支持平台与模型清单

各模型家族特性忠实实现：Llama 3.2含GQA与绑定嵌入；Qwen3采用NEOX RoPE与头级RMSNorm；Granite 4.1支持muP标量但拒绝SSM/MoE混合变体。非列表GGUF不会被静默接受，转换器会明确报错。

部署前提与风险警示

环境要求

• Linux主机 + Rust（stable + nightly） + QEMU（可选，用于无硬件测试）
• ≥6 GB可用磁盘空间（模型+镜像）
• x86_64目标需关闭Secure Boot；Pi 5需D0步进8GB版本

关键风险

• 烧录不可逆：安装程序虽有防护，但误选设备仍会导致数据永久丢失，务必反复核对设备名
• 固件兼容性：x86_64 UEFI实现差异大，部分主板可能无法启动，建议先用QEMU验证
• 功能局限：无网络、无文件保存、无多任务，仅适合纯离线对话场景
• 模型锁定：不支持动态加载或热切换，更换模型需重刷介质

NIGHTRUN不是通用LLM客户端，而是将计算设备转化为专用推理终端的极端简化方案。其价值在于消除软件栈复杂性带来的不确定性与攻击面，适用于高安全、低干扰、长期稳定的边缘对话场景。对普通用户而言，其使用门槛与功能限制远超常规工具；但对特定需求（如隔离环境、教学演示、嵌入式原型），它提供了无可替代的纯粹性。