Pruna AI

欧洲初创公司Pruna AI宣布开源其专门用于AI模型优化的框架，这一举措将为开发者提供一个整合了多种效率提升方法的强大工具集。该框架支持的操作包括缓存、剪枝、量化和蒸馏等，旨在帮助用户在保持模型质量的同时显著提升性能。

Pruna AI 联合创始人兼 CTO John Rachwan 表示：“我们还标准化了压缩模型的保存与加载流程，结合这些压缩方法，并在压缩后评估模型的表现。” 特别是，Pruna AI 的框架能够评估模型在压缩后是否存在显著的质量损失，以及由此带来的性能提升。

Rachwan 进一步解释说：“如果用一个比喻来说明，我们类似于 Hugging Face 对 Transformer 和扩散模型（diffusers）所做的标准化工作——如何调用它们、如何保存和加载等。而我们正在做同样的事情，但专注于效率提升方法。”

核心功能与优势

• 全面的压缩算法：Pruna AI框架提供了包括缓存、量化、剪枝、蒸馏在内的多种压缩技术，适用于不同类型的人工智能模型，如大型语言模型（LLM）、扩散模型、视觉变换器以及语音识别模型等。
• 标准化流程：不仅关注于模型的压缩，还强调了压缩后模型保存与加载流程的标准化，确保了整个过程的无缝衔接，并且能够在压缩后评估模型的表现。
• 易用性设计：以简洁为设计理念，只需几行代码即可实现模型的优化，大大降低了使用门槛。
• 环境友好：通过减少模型体积和计算需求，降低能耗，有助于减少对环境的影响。

特别亮点

Pruna AI特别提到的一个即将发布的重要功能是“压缩代理”。这项服务允许用户指定速度提升的具体目标和可接受的质量损失范围，之后由代理自动寻找最佳的优化组合方案并应用到用户的模型中，无需手动干预。

Pruna Pro企业版

除了开源版本外，Pruna AI还推出了针对企业的Pruna Pro版本，它包含了高级优化功能、优化代理以及优先的技术支持等额外服务。Pruna Pro按照使用时长计费，类似于云服务平台如AWS的计费模式，为企业提供了一个灵活且经济高效的解决方案。

Pruna 简易安装

Pruna 目前支持在 Linux、MacOS 和 Windows 上安装。然而，某些算法对操作系统有限制，可能并非在所有平台上都可用。

在安装前，请确保你已准备好：

• Python 3.9 或更高版本
• 可选：用于 GPU 支持的 CUDA 工具包

安装方法

使用 pip 安装 Pruna

Pruna 已发布在 PyPI 上，你可以通过 pip 安装：

pip install pruna

Pruna AI的目标是让每一个依赖AI模型的企业和个人都能享受到高效、低成本且环保的优化服务，从而实现真正的价值回报。随着Pruna AI的开源，更多开发者将有机会体验到这些先进优化技术带来的便利。