ollama使用手册使用教程

简介

Ollama 是一个开源的本地大语言模型运行框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计，把模型下载、管理、推理和自定义整合成一套命令行工作流。它要解决的问题很直接：部署流程繁琐、对话数据必须交给第三方服务器。使用 Ollama，所有交互数据保存在自己的机器上，可提升数据的私密性与安全性，断网环境同样可用。这份手册适合刚接触本地大模型的新手，也覆盖自定义模型、CLI 参考与环境变量等进阶内容，核心优势是开源免费、模型丰富、资源占用低。

核心功能

• 跨平台运行：支持 macOS、Windows、Linux 三种主流操作系统，也可以通过 Docker 方式部署，具体支持范围以官方页面为准。
• 模型拉取与运行：用 ollama run 命令即可拉取并进入对话，模型下载后保存在本地，后续可重复调用。
• 模型管理：统一查看、管理本地已有的模型，便于在多个模型之间切换与清理，对应文档中的「CLI 参考」章节。
• 自定义模型：支持从 GGUF 文件导入，也支持从 PyTorch 或 Safetensors 导入，用于把自有权重接入本地推理流程。
• 构建能力：构建自定义模型需要准备构建工具链（如安装 cmake），属于进阶用法，细节以官方文档为准。
• 运行参数可配置：通过 OLLAMA_HOST、OLLAMA_MODELS 等环境变量调整服务监听地址与模型存储目录。
• 日志可查：出现异常时可查看服务端日志定位问题，例如在 macOS 上执行 cat ~/.ollama/logs/server.log。

使用场景

• 本地离线助手：在无网络或网络受限的环境中使用大模型，交互数据不出本机，适合对隐私敏感的个人与团队。
• 家庭或多人共享：通过局域网内的共享方式，让手机等设备共同访问同一台机器上的本地模型，实现全家人共用一个本地 AI。
• 聊天工具集成：如 AiLama 这类 Discord 用户应用，可在 Discord 对话中直接与 Ollama 交互。
• 桌面端文件与 RAG 应用：Shinkai Desktop 提供两步建立本地 AI 的路径，结合文件与 RAG 使用本地模型。
• 界面化应用开发：Ollama with Google Mesop 等项目把本地模型接入 Web 界面，用于搭建演示或内部工具。
• 学习与教学：Datawhale 的「动手学Ollama」从基础入门到进阶使用，配合实际案例理解大模型部署与应用技术。

安装与获取步骤

1. 下载对应平台的安装包：页面提供 macOS、Windows、Linux 三个版本，也可选择 Docker 方式，下载入口见 https://ollama.readthedocs.io/quickstart/ 。
2. 完成安装后启动程序，确认任务栏或菜单栏出现 Ollama 图标，说明本地服务已在运行。
3. 在终端执行 ollama run 模型名 拉取并运行模型，首次运行会下载模型文件，下载完成后即可直接对话。
4. 如需自定义配置：先通过任务栏图标退出 Ollama，再进入系统环境变量编辑或新建 OLLAMA_HOST、OLLAMA_MODELS，保存后从新的终端窗口运行 ollama。
5. 需要接入自有权重时，按文档「自定义模型」章节从 GGUF 或 PyTorch、Safetensors 导入；构建类操作需先准备 cmake 等工具。

常见故障排查与参考链接

• 执行 ollama run xxx 提示服务未正确启动：先关闭 ollama 程序，再以管理员身份重新启动，然后重试命令。
• 拉取模型报错 Error: pull model manifest：依次检查网络连接、模型名称是否写错、本地缓存是否损坏、Ollama 版本是否过旧以及服务端是否异常。
• 自定义模型存储目录时服务启动失败：多为权限不足，服务默认权限无法创建该目录，需要为目录授予写权限或改用当前用户可写的路径。
• 官方文档：快速入门 https://ollama.readthedocs.io/quickstart/ ，常见问题 https://ollama.readthedocs.io/faq/ 。
• 中文社区教程：Datawhale 动手学Ollama https://datawhalechina.github.io/handy-ollama/ ，菜鸟教程 Ollama 教程 https://www.runoob.com/ollama/ollama-tutorial.html 。

注意事项

• 修改 OLLAMA_HOST、OLLAMA_MODELS 等环境变量后，必须从新的终端窗口启动 ollama，旧终端中的进程不会读取新值。
• 自定义模型存储路径前先确认目标目录当前用户可写，否则服务会因无法创建目录而启动失败。
• macOS 与 Windows 会自动下载更新，点击任务栏或菜单栏图标选择「重启以更新」即可应用，也可手动下载最新版本。
• 排查问题优先看日志，macOS 上可用 cat ~/.ollama/logs/server.log 查看服务端输出，再决定下一步操作。
• 模型拉取失败时不要反复重试同一命令，先确认模型名称与网络，再排查本地缓存和版本，避免误判为服务端故障。
• 本文涉及的命令参数、支持平台与构建细节以官方页面为准，不同环境下的表现可能有差异。