在《打造本地专属GPT！使用这些软件轻松运行开源大语言模型》这篇文章里，已经向大家介绍了Ollama这款软件，Ollama可以在本地机器上部署和管理大语言模型，Ollama 提供了简单的命令行界面（CLI），用户可以通过一条命令快速启动和运行大型模型，如 Llama 3、Phi 3、Mistral、 Gemma等，用户也可以创建自定义模型，Ollama 支持从 GGUF、PyTorch 或 Safetensors 导入模型，并允许通过 Modelfile 来配置和管理这些模型，Ollama支持多种操作系统，包括 macOS、Windows 和 Linux，并且提供了 Docker 镜像，以方便在不同环境中部署。
- 官网地址：https://ollama.com
- GitHub：https://github.com/ollama/ollama
如何安装及运行Ollama？
1、下载Ollama安装包
从官网下载Ollama安装包，根据自己的系统进行下载
2、安装Ollama
下载完成后，双击安装包进行安装。在安装过程中，需要遵循安装向导的指示，按照步骤完成安装。需要注意的是Ollama不可以自定义安装路径，会强制安装在C盘。安装完毕后会打开命令提示符（CMD）。
3、下载模型
要在本地使用Ollama，我们还需要下载模型才可以，我们可以在官方的模型库找到适合在自己电脑上运行的模型，以llama3为例，复制命令行到命令提示符或终端，即可自动下载
下载完毕后，即可开启对话。Ollama的Windows版本默认直接会调用本机的显卡，无需额外设置，Ollama不仅支持英伟达显卡还支持AMD显卡，当然也支持CPU运行，只是使用CPU运行会比较慢。
4、迁移模型
Ollama会将模型下载到C盘，如果你的C盘空间不足，可以更改默认路径，将模型下载到其他盘。可以通过新建环境变量OLLAMA_MODELS进行修改。
（1）在开始菜单搜索框搜索”环境变量“，打开系统属性界面，点击“环境变量”
（2）在你容量比较大的盘，新建一个文件夹，重命名为.ollama
（3）在环境变量设置界面中，系统变量下方，点击“新建”按钮，创建名为OLLAMA_MODELS的新环境变量，并将其值设置为新的模型保存路径，例如E:\.ollama ，点击“确定”按钮保存设置，并重启电脑使修改生效
5、Ollama的基本命令
在命令提示符或终端里输入ollama回车，就能看到ollama的一些基本命令：
- ollama serve - 启动 Ollama 服务，允许在没有桌面应用程序的情况下运行 Ollama。
- ollama create - 根据 Modelfile 创建一个新模型。Modelfile 是一个定义模型配置的文件。
- ollama show - 显示一个模型的详细信息，包括其参数和状态。
- ollama run - 运行一个已存在的模型，可以与模型进行交互或执行特定的模型驱动任务。
- ollama pull - 从注册表中拉取（下载）一个模型，以便在本地使用。
- ollama push - 将一个模型推送（上传）到注册表，使其可以在其他位置使用或分享。
- ollama list - 列出当前可用的所有模型，包括那些已经下载到本地的模型。
- ollama cp - 复制一个模型，可以用于备份或在不同的配置下运行相同的模型。
- ollama rm - 删除一个本地模型，释放存储空间。
- ollama help - 提供关于任何命令的帮助信息，如果不确定如何使用某个命令，可以使用
help来获取使用指南。
比如ollama list，就可以查看已经下载的模型
如何使用Ollama？
在终端或命令提示符里就可以使用Ollama，不够易用，而开源的Ollama 有一系列开源工具供大家使用，包括网页、桌面、终端等交互界面及诸多插件和拓展。Ollama的GitHub页面，已经为大家列出了可供使用的工具：
Open WebUI
Open WebUI 是一个可扩展的、功能丰富的、用户友好的自托管 Web 用户界面（WebUI），它被设计为完全离线操作。它支持多种大型语言模型（LLM）运行器，包括 Ollama 和兼容 OpenAI 的 API。Open WebUI 具有最接近 ChatGPT 的界面和最丰富的功能特性，只是它需要以 Docker 部署。
- 推荐指数：⭐⭐⭐⭐⭐
- GitHub：https://github.com/open-webui/open-webui
ComfyUI Ollama
这款插件让你可以在Comfyui中调用Ollama，不仅可以聊天还可以使用带视觉能力的模型生成图片描述，也可以自定义提示词对你的提示词进行润色，然后再进行图片生成。可以通过ComfyUI Manager安装此插件。
- 推荐指数：⭐⭐⭐⭐⭐
- GitHub：https://github.com/stavsap/comfyui-ollama
总结
Ollama非常强大，本文也只是做了一个简单的介绍，主要还是为了之后让大家在Comfyui中更好的生成图片或视频，更多Ollama的扩展及使用技巧，大家可在官网或GitHub上进行查询。
评论0