Xiaomi Miloco

小米近期发布了智能家居未来探索方案 Xiaomi Miloco（全称 Xiaomi Local Copilot），以“自托管+开源多模态大模型”为核心，打通米家生态与视觉识别能力——通过米家摄像头捕捉家庭场景，结合自研7B大模型解析用户行为与手势，再联动全屋IoT设备实现个性化智能联动。

不同于传统智能家居的固定规则触发，Miloco 支持以自然语言定义需求，还开放了非商用开源权限，用户可自行部署体验，进一步拓展米家生态的创意玩法。

核心定位：基于多模态大模型的“家庭视觉AI中枢”

Xiaomi Miloco 的核心是 Xiaomi-MiMo-VL-Miloco-7B-GGUF 开源多模态大语言模型，专门针对家庭场景优化，具备两大核心能力：

1. 场景与行为识别：通过米家摄像头，精准识别用户日常状态（打游戏、健身、看电视、阅读、睡觉等）；
2. 手势识别：支持常见手势解析（胜利、大拇指、OK、比6、张开手掌等）。

作为“视觉信息来源”，Miloco 主要负责感知场景、触发工作流，再通过米家自动化、设备控制或 Home Assistant（HA）联动，实现从“感知”到“执行”的完整智能闭环。所有数据本地处理，自托管模式保障家庭隐私安全。

非商用开源：免费使用，支持修改与分发

Xiaomi Miloco 采用 非商用开源授权（Xiaomi Miloco License Agreement），核心权益与获取方式如下：

• 授权属性：个人、有限、非排他、不可转让、不可转授权，免费用于非商业目的；
• 知识产权：授权作品的所有权及知识产权归小米所有，用户可合规复制、使用、修改、分发；
• 获取渠道：模型权重已上架 Hugging Face，代码托管于 GitHub，可直接下载部署。

对于智能家居爱好者、开源项目开发者而言，这一授权模式既降低了体验门槛，也保留了二次开发的灵活性。

Miloco 能做什么？趣味与实用兼备的智能联动

基于场景识别与手势解析能力，Miloco 可实现丰富的家庭智能场景，覆盖日常便捷控制与趣味互动：

• 场景联动：读书时自动打开台灯、睡觉后根据是否盖被子调整空调温度、玩手机时发送米家通知提醒；
• 趣味互动：每天回家时，根据穿衣风格生成“彩虹屁”并通过智能音箱播报；
• 精准查询：语音询问“看看我的猫在哪？”，模型通过摄像头识别并反馈；
• 手势控制：比“OK”开启观影模式、比“点赞”触发窗帘关闭等（需自行配置工作流）。

本质上，Miloco 让米家设备从“被动响应”变为“主动感知”，更贴合家庭生活的真实需求。

关键特性：自然交互+端侧隐私+生态兼容

1. 交互新范式：基于大模型开发范式，支持自然语言定义规则与控制指令，无需复杂编程，上手更简单；
2. 视觉数据再利用：将摄像头数据流转化为可触发智能场景的“感知信号”，解锁视觉交互新玩法；
3. 端侧隐私保障：采用“任务拆分规划+视觉理解”两阶段设计，自研端侧模型实现本地视频理解，数据不泄露；
4. 生态兼容性强：打通米家生态（支持设备控制、自动化场景），同时兼容 Home Assistant（HA）自动化，拓展性更强。

模型优势：家庭场景优化，通用能力兼顾

Xiaomi-MiMo-VL-Miloco-7B 模型通过“监督微调（SFT）+强化学习（RL）”两阶段训练优化，性能表现突出：

• 家庭场景领先：在手势识别、日常场景理解的F1-Score评估中达到领先水平；
• 多模态能力提升：视频理解（Video-MME/Video-MMMU/Charades-STA）与通用推理（MMMU-Pro）能力较基座模型显著提升（10%+），纯文本任务也有小幅优化；
• 轻量化适配：提供GGUF混合精度量化版本，适配计算资源受限场景，降低部署门槛。

注：模型在文档理解、OCR、数学类任务上有小幅下降，但不影响家庭场景核心使用。

如何部署？硬件要求与安装流程

目前 Miloco 仅支持 Windows（WSL）、Linux 系统，需满足以下硬件条件，且依赖 NVIDIA 显卡与 Docker 部署：

• CPU：x64 架构；
• 显卡：NVIDIA 30系及以上，显存最低8GB（建议12GB及以上）；
• 存储：建议16GB及以上可用空间（用于存储本地模型）。

安装脚本（一键执行）：

bash -c "$(wget -qO- https://xiaomi-miloco.cnbj1.mi-fds.com/xiaomi-miloco/install.sh)"

使用逻辑：
Miloco 负责“感知场景”，具体设备操作需通过配置工作流实现，目前支持三大MCP服务：

1. 米家自动化（MIoT Automation）；
2. 米家设备控制（MIoT Device Control）；
3. HA 自动化。