LM Studio - 最新版

LM Studio 是一款开源程序,旨在帮助用户在本地设备上运行和实验各种大语言模型,它提供了一个简单而强大的界面,用于配置和推理模型,并能够利用显卡加速计算。此外,该程序完全支持离线运行,适合个人用户在笔记本电脑或台式机上部署开源模型。

Ollama - 最新版

Ollama 是一个开源的框架,专门设计用于简化在本地机器上部署和管理大语言模型,Ollama 提供了简单的命令行界面(CLI),用户可以通过一条命令快速启动和运行大型模型,支持多种预构建的模型。