MineStudio：用于简化《我的世界（Minecraft）》中AI代理开发的开源软件包

北京大学和加州大学洛杉矶分校的研究人员推出MineStudio，这是一个用于简化《我的世界（Minecraft）》中AI代理开发的开源软件包。它通过整合七个关键工程组件（模拟器、数据、模型、离线预训练、在线微调、推理和基准测试），为用户提供了一个全面且高效的开发框架，使研究人员能够专注于算法创新，而不是工程实现。

• 项目主页：https://craftjarvis.github.io
• GitHub：https://github.com/CraftJarvis/MineStudio
• 模型：https://huggingface.co/CraftJarvis

例如，研究人员想要开发一个能够在《我的世界》中建造复杂建筑的 AI 代理。使用 MineStudio，他们可以：

1. 定制环境：通过继承 MinecraftCallback 类，自定义环境以支持特定的建筑任务。
2. 数据准备：利用 MineStudio 的数据模块，快速加载和处理相关的轨迹数据。
3. 模型开发：选择预集成的模型（如 ROCKET-1）作为起点，通过简单的 PyTorch 代码进行定制。
4. 离线预训练：使用 MineStudio 的离线训练模块，基于大量轨迹数据进行预训练。
5. 在线微调：在定制的环境中进行在线微调，优化代理的性能。
6. 推理评估：通过分布式推理框架，快速评估代理的性能。
7. 基准测试：使用 MCU 基准测试框架，与其他代理进行公平比较。

主要功能

1. 模拟器：提供高度可定制的《我的世界》环境封装器，支持实时交互和环境修改。
2. 数据管理：引入灵活高效的数据结构，用于处理离线轨迹数据，支持快速检索和存储。
3. 模型模板：提供统一的策略模型模板，预集成多种《我的世界》代理算法，方便用户快速实现和测试。
4. 离线预训练：基于 PyTorch Lightning 框架，支持长序列轨迹训练，提供优化的超参数配置。
5. 在线微调：实现 KL 约束的近端策略优化算法，支持长序列训练，优化了《我的世界》环境的不稳定性。
6. 推理框架：基于 Ray 的分布式推理框架，支持快速评估不同代理的性能。
7. 基准测试：集成 MCU 基准测试框架，支持多种任务（如建造、挖掘、制作）和不同难度的游戏模式。

主要特点

1. 高度可定制：用户可以通过继承和覆盖来定制每个模块的功能，满足特定需求。
2. 高效数据处理：优化的数据结构和分布式采样器，支持长序列轨迹的高效存储和读取。
3. 集成多种算法：预集成多种最新的《我的世界》代理算法，方便用户快速上手。
4. 简化开发流程：从预训练到微调再到评估，提供完整的开发流程，减少工程工作量。
5. 分布式支持：支持分布式训练和推理，提高效率和可扩展性。
6. 丰富的基准测试：集成 MCU 基准测试框架，支持多种任务和难度级别，方便公平比较。

工作原理

1. 环境封装：通过继承 MinecraftCallback 类，用户可以自定义环境行为，如监控帧率、执行作弊命令、快速重置等。
2. 数据处理：轨迹数据被分割成片段并独立存储在 LMDB 文件中，同时保留时间关系，支持快速检索。
3. 模型训练：基于 PyTorch Lightning 框架，支持长序列轨迹训练，提供优化的超参数配置。
4. 在线微调：实现 KL 约束的近端策略优化算法，优化了《我的世界》环境的不稳定性。
5. 推理评估：基于 Ray 的分布式推理框架，支持快速评估不同代理的性能。
6. 基准测试：通过 Vision-Language 模型分析任务视频，支持多种任务和难度级别。

应用场景

1. AI 研究：为研究人员提供一个高效的开发环境，用于开发和测试新的 AI 算法，如强化学习、模仿学习等。
2. 教育和培训：为学生和开发者提供一个易于上手的平台，帮助他们学习和实践 AI 开发。
3. 游戏开发：为游戏开发者提供一个工具包，用于开发更智能的 AI 代理，提升游戏体验。
4. 基准测试：为社区提供一个标准化的基准测试框架，方便比较不同 AI 代理的性能。
5. 数据生成：支持生成高质量的训练数据，用于训练更强大的 AI 模型。