ollama使用手册 电脑版下载

简介

Ollama 是一个开源的大语言模型部署服务工具，旨在让用户在本地电脑上轻松运行开源 AI 模型，支持 Windows、macOS 和 Linux 三大平台。它通过命令行接口和本地 HTTP API 提供模型管理、运行与调用能力，无需依赖云端服务，数据完全保留在本地，保护隐私且完全免费。Ollama 特别适合大模型爱好者、开发者、研究者以及希望在离线环境或隐私敏感场景下使用 AI 的用户。其核心优势在于极简的操作：仅需一行命令即可下载并启动模型，同时提供丰富的模型库（如 LLaVA、Vicuna 等）和灵活的配置选项，让本地部署大模型变得像安装普通软件一样简单。

核心功能

• 跨平台支持：兼容 Windows、macOS 和 Linux 操作系统，Windows 用户可通过 OllamaSetup.exe 安装，无需管理员权限。
• 一行命令运行模型：使用 ollama run <模型名> 即可快速启动指定模型，例如 ollama run llama3。
• 模型管理命令：提供 ollama list 查看本地模型列表、ollama pull 下载模型、ollama rm 删除模型等常用命令。
• 本地 HTTP API：Ollama 内置 HTTP 接口，方便上层应用程序（如 Chatbox、Word 插件等）调用本地模型进行推理。
• 服务管理：通过 ollama serve 启动本地服务，ollama -h 查看帮助信息，验证安装是否成功。
• 模型库丰富：官方模型库提供多种开源模型，包括多模态模型（如 LLaVA）和通用语言模型（如 Vicuna），满足不同任务需求。
• 轻量级框架：相比其他本地推理工具，Ollama 以 CLI 和 API 为核心，资源占用较低，适合自动化脚本和集成场景。

使用场景

• 本地开发测试：开发者可在本地快速运行模型，验证应用逻辑，无需等待云端响应。
• 隐私敏感应用：处理医疗、金融等敏感数据时，模型完全本地运行，数据不出本机。
• 离线环境使用：在没有网络或网络受限的环境中，Ollama 可独立完成模型推理。
• 教育学习：大模型爱好者可通过 Ollama 动手实践，理解模型部署与调用的全过程。
• 与第三方工具集成：Ollama 的 HTTP API 可对接 Chatbox、Word 插件（如 TextCraft）等，扩展 AI 功能。

安装与获取步骤

1. 访问 Ollama 官方网站（https://ollama.com/）下载对应操作系统的安装包：Windows 用户获取 OllamaSetup.exe，macOS 用户获取 .dmg 文件，Linux 用户根据发行版选择脚本或包管理器。
2. 运行安装程序：Windows 下双击 OllamaSetup.exe，按提示完成安装；macOS 拖拽应用至 Applications 文件夹；Linux 执行官方提供的安装脚本或使用包管理器（如 apt、yum）。
3. 验证安装：打开终端（Windows 使用 CMD 或 PowerShell），输入 ollama -h 查看帮助信息，若显示命令列表则安装成功。
4. 启动服务：执行 ollama serve 启动本地服务，保持终端运行以便后续调用。
5. 下载并运行模型：使用 ollama pull <模型名> 下载模型，然后 ollama run <模型名> 启动交互式对话。

与同类方案的区别

Ollama 与 LM Studio 是两款流行的本地 AI 推理工具。Ollama 以自动化为先，核心是 CLI 和本地 API，适合脚本化集成；LM Studio 以探索为先，提供图形化桌面界面，适合手动操作。Ollama 目前也提供 macOS 和 Windows 聊天应用，但主要使用方式仍是命令行。选择时可根据偏好：若需自动化或集成到代码中，Ollama 更合适；若偏好可视化操作，LM Studio 可能更直观。

注意事项

• 模型下载需要网络连接，且模型文件较大（数 GB 至数十 GB），请确保磁盘空间充足。
• 运行模型时内存占用较高，建议至少 8GB 内存，具体需求以模型参数量为准，可参考官方文档。
• Windows 下推荐使用命令安装方式（如 winget），以避免模型文件占用 C 盘空间，可设置环境变量更改存储路径。
• Ollama 服务默认监听 11434 端口，若端口被占用，可通过环境变量修改，具体方法以官方文档为准。
• 使用 ollama serve 启动服务时，终端需保持开启，关闭终端服务即停止。
• 若需停止当前运行的模型，可在对话界面输入 /bye 退出，或使用 Ctrl+D 结束进程。