Ollama - 最新版
Ollama 是一个开源的框架,专门设计用于简化在本地机器上部署和管理大语言模型,Ollama 提供了简单的命令行界面(CLI),用户可以通过一条命令快速启动和运行大型模型,支持多种预构建的模型。
Jan 是一款由 Homebrew 开发的本地 AI 应用程序,专为普通人设计,旨在让每个人都能轻松下载、运行和使用大语言模型(LLM),同时确保完全的数据控制和隐私保护。它支持 Windows、Mac 和 Linux 多平台,并计划推出移动端版本,是一款功能强大且易于使用的工具。
安装完成后,您将看到一个简单的界面,尚未预装任何模型。
本地模型直接在您的电脑上运行,需确保硬件配置满足要求。
如果您使用的是 Windows 或 Linux,并拥有兼容的显卡,可以通过启用 GPU 加速提升性能:
注意:在启用 GPU 加速前,请确保已安装必要的依赖项和驱动程序。