Ollama
Ollama

Ollama最新版

官方版无广告14

Ollama 是一个开源的框架,专门设计用于简化在本地机器上部署和管理大语言模型,Ollama 提供了简单的命令行界面(CLI),用户可以通过一条命令快速启动和运行大型模型,支持多种预构建的模型。

更新日期:
2025年2月16日
语言:
中文
平台:

767MB 0 人已下载 手机查看

Ollama 是一个开源的框架,专门设计用于简化在本地机器上部署和管理大语言模型,Ollama 提供了简单的命令行界面(CLI),用户可以通过一条命令快速启动和运行大型模型,支持多种预构建的模型,用户可以从官方模型库中选择并下载所需的模型,Ollama 支持多种操作系统,包括 macOS、Windows 和 Linux,并且提供了 Docker 镜像,以方便在不同环境中部署。

Ollama

如何安装及运行Ollama?

1、下载Ollama安装包

从官网下载Ollama安装包,根据自己的系统进行下载

Ollama

2、安装Ollama

下载完成后,双击安装包进行安装。在安装过程中,需要遵循安装向导的指示,按照步骤完成安装。需要注意的是Ollama不可以自定义安装路径,会强制安装在C盘。安装完毕后会打开命令提示符(CMD)。

Ollama

3、下载模型

要在本地使用Ollama,我们还需要下载模型才可以,我们可以在官方的模型库找到适合在自己电脑上运行的模型,以llama3为例,复制命令行到命令提示符或终端,即可自动下载

Ollama

下载完毕后,即可开启对话。Ollama的Windows版本默认直接会调用本机的显卡,无需额外设置,Ollama不仅支持英伟达显卡还支持AMD显卡,当然也支持CPU运行,只是使用CPU运行会比较慢。

Ollama

4、迁移模型

Ollama会将模型下载到C盘,如果你的C盘空间不足,可以更改默认路径,将模型下载到其他盘。可以通过新建环境变量OLLAMA_MODELS进行修改。

(1)在开始菜单搜索框搜索”环境变量“,打开系统属性界面,点击“环境变量”

Ollama

(2)在你容量比较大的盘,新建一个文件夹,重命名为.ollama 

Ollama

(3)在环境变量设置界面中,系统变量下方,点击“新建”按钮,创建名为OLLAMA_MODELS的新环境变量,并将其值设置为新的模型保存路径,例如E:\.ollama ,点击“确定”按钮保存设置,并重启电脑使修改生效

Ollama

5、Ollama的基本命令

在命令提示符或终端里输入ollama回车,就能看到ollama的一些基本命令:

  • ollama serve - 启动 Ollama 服务,允许在没有桌面应用程序的情况下运行 Ollama。
  • ollama create - 根据 Modelfile 创建一个新模型。Modelfile 是一个定义模型配置的文件。
  • ollama show - 显示一个模型的详细信息,包括其参数和状态。
  • ollama run - 运行一个已存在的模型,可以与模型进行交互或执行特定的模型驱动任务。
  • ollama pull - 从注册表中拉取(下载)一个模型,以便在本地使用。
  • ollama push - 将一个模型推送(上传)到注册表,使其可以在其他位置使用或分享。
  • ollama list - 列出当前可用的所有模型,包括那些已经下载到本地的模型。
  • ollama cp - 复制一个模型,可以用于备份或在不同的配置下运行相同的模型。
  • ollama rm - 删除一个本地模型,释放存储空间。
  • ollama help - 提供关于任何命令的帮助信息,如果不确定如何使用某个命令,可以使用 help 来获取使用指南。
Ollama

比如ollama list,就可以查看已经下载的模型

Ollama

如何使用Ollama?

在终端或命令提示符里就可以使用Ollama,不够易用,而开源的Ollama 有一系列开源工具供大家使用,包括网页、桌面、终端等交互界面及诸多插件和拓展。Ollama的GitHub页面,已经为大家列出了可供使用的工具:

Page Assist

Page Assist 是一款开源浏览器扩展,为你的本地 AI 模型提供侧边栏和 Web UI。它允许你从任何网页与你的模型进行交互。

Ollama

Open WebUI

Open WebUI 是一个可扩展的、功能丰富的、用户友好的自托管 Web 用户界面(WebUI),它被设计为完全离线操作。它支持多种大型语言模型(LLM)运行器,包括 Ollama 和兼容 OpenAI 的 API。Open WebUI 具有最接近 ChatGPT 的界面和最丰富的功能特性,只是它需要以 Docker 部署。

Ollama

ComfyUI Ollama

这款插件让你可以在Comfyui中调用Ollama,不仅可以聊天还可以使用带视觉能力的模型生成图片描述,也可以自定义提示词对你的提示词进行润色,然后再进行图片生成。可以通过ComfyUI Manager安装此插件。

Ollama

相关:

如何在本地安装及使用Ollama,轻松玩转本地大语言模型

如何从HuggingFace导入新模型到Ollama

Ollama 与Hugging Face合作!Ollama可以使用 Hugging Face上所有GGUF格式模型了

相关软件

Zed - v0.173.8

Zed 编辑器是一款由 Zed Industries 开发的现代代码编辑器,主要使用 Rust 编写。它采用三种不同的许可证进行分发:编辑器的源代码在 GPL 3.0 下提供,服务器端组件在 AGPL 3.0 下,而 GPUI在 Apache License 2.0 下。

LM Studio - 最新版

LM Studio 是一款开源程序,旨在帮助用户在本地设备上运行和实验各种大语言模型,它提供了一个简单而强大的界面,用于配置和推理模型,并能够利用显卡加速计算。此外,该程序完全支持离线运行,适合个人用户在笔记本电脑或台式机上部署开源模型。

ChatWise - 最新版

ChatWise是一款集性能、隐私保护和用户体验于一身的AI聊天应用。它不仅支持多种LLM模型和多模态交互,还通过本地存储和优化设计,确保数据安全和高效使用。无论是日常聊天、文件处理还是专业创作,ChatWise都能满足你的需求。

暂无评论

none
暂无评论...