USB-Uncensored-LLM

USB-Uncensored-LLM 是一个完全气隙（Air-gapped）、零依赖、即插即用的本地 AI 环境。它旨在让你从本地硬盘或便携式 USB/SSD 上无缝运行大型语言模型，无需互联网连接，无需复杂的安装过程，更无需担心内容审查。

凭借统一的跨平台架构，你只需初始化一次，即可将包含 AI 模型的 USB 驱动器在 Windows、macOS、Linux 甚至 Android 设备间自由切换使用。

核心亮点

1. 真正的即插即用 (Zero Dependency)

• 便携引擎：附带便携式 Python 环境和独立的推理引擎二进制文件。
• 无需权限：不需要管理员权限、不修改注册表、不依赖系统包管理器。
• 跨平台共享：采用智能共享卷系统。下载一次模型（如 5GB+），即可在所有支持的操作系统上原生运行，无需重复下载。

2. 无审查与隐私保护

• 完全离线：数据不出设备，保障绝对隐私。
• 无过滤交互：集成了经过“消融”（Abliterated）和“异端”微调的模型，移除安全对齐向量，实现完全无过滤、无偏见的回答。

3. 局域网移动访问

• 内置 Web UI：自定义 Python HTTP 服务器提供极速深色模式聊天界面。
• 多设备协同：在同一 WiFi 网络下，手机或平板可直接通过浏览器访问电脑上的 AI 服务，无需复杂配置。

4. 硬件加速自适应

• 动态优化：底层基于自定义编译的 Ollama 引擎，能根据宿主机器自动利用 AVX CPU 指令、NVIDIA CUDA 或 Apple Metal GPU 进行加速。

精选无审查模型库

项目内置安装程序，支持一键下载以下高质量开源模型：

快速开始指南

第 1 步：准备硬件

• 存储：USB 3.0+ 闪存驱动器或 SSD，至少 8 GB 可用空间（推荐 16 GB+）。
• 内存：宿主机至少 8 GB RAM（运行 2B/4B 模型），16 GB RAM（流畅运行 9B/12B 模型）。

第 2 步：初始化引擎

根据你的操作系统，运行对应的安装脚本以下载基础引擎（约 50MB）：

• Windows: 双击 Windows/install.bat
• macOS: 终端运行 Mac/install.command
• Linux: 终端运行 bash Linux/install.sh
• Android: Termux 中运行 bash Android/install.sh

第 3 步：下载模型

• 推荐：在 Windows 上运行 install.bat，通过交互式菜单选择并下载模型至 Shared/models。
• 手动：若无 Windows，可从 HuggingFace 手动下载 .gguf 文件放入 Shared/models 文件夹。

第 4 步：启动聊天

运行对应系统的 start 脚本（如 Windows/start-fast-chat.bat）。浏览器将自动打开本地聊天界面。

Android 原生支持 (Termux)

你可以直接在 Android 手机或平板上运行此环境，无需 PC！

1. 安装 Termux：务必从 F-Droid 安装（Play Store 版本已过时）。
2. 复制文件：将整个项目文件夹复制到手机存储。
3. 安装与运行：

   cd USB-Uncensored-LLM
   bash Android/install.sh  # 选择模型，推荐 Gemma 2 2B
   bash Android/start.sh    # 启动服务
   

4. 性能优化：
   • 运行 termux-wake-lock 防止后台杀进程。
   • 保持 Termux 在前台。
   • 连接充电器（LLM 推理耗电快）。
   • 预期速度：2B 模型在手机上约为 3-10 tokens/秒。

本地磁盘安装（非 USB）

虽然为 USB 设计，但它也是极好的本地轻量级 AI 方案：

1. 克隆仓库到本地硬盘（如 C:\AI）。
2. 运行 install.bat 下载模型。
3. 运行 start-fast-chat.bat。

• 优势：SSD 读写速度远超 USB，模型加载近乎即时。

局域网移动访问

想在沙发上用手机控制电脑上的重型模型？

1. 确保手机和电脑连接同一 WiFi。
2. 运行 start 脚本后，终端会显示局域网 IP（如 http://192.168.1.15:3333）。
3. 在手机浏览器输入该地址即可访问。
   • 注意：若无法访问，请检查 Windows 防火墙是否允许端口 3333。