ollama使用指南 Windows下载

简介

Ollama 是一个开源的轻量级框架，用于在本地部署、运行和管理大型语言模型（LLM），支持 Windows、Linux 与 macOS 三种主流操作系统。它解决了传统大模型部署流程复杂、依赖多、资源占用高的问题，让普通用户无需深厚的技术背景，即可在自己的电脑上通过命令行或 API 快速下载并运行 Llama 3、Qwen（通义千问）、Mistral 等开源模型。Ollama 特别适合希望保护数据隐私、追求离线可用、或需要低成本实验的开发者、研究人员与 AI 爱好者。其核心优势在于一键式安装、模型管理命令简洁、自带 REST API 便于集成，并且对 CPU 推理做了优化，即使没有高端显卡也能运行模型。

核心功能

• 一键安装与自动更新：Windows 安装包无需管理员权限，默认安装在用户目录，安装后 Ollama 会自动下载更新，点击任务栏图标选择“重启以更新”即可应用新版本。
• 模型下载与运行：通过 ollama run <模型名> 命令即可拉取并启动模型，例如 ollama run llama3.2，模型文件自动存储于用户目录。
• 命令行管理：支持 ollama list 查看本地模型列表、ollama pull 下载模型、ollama rm 删除模型、ollama stop 停止运行中的模型。
• REST API 服务：Ollama 启动后默认监听 http://localhost:11434，可通过 /api/generate 接口生成响应，/api/chat 接口进行对话，便于外部程序集成。
• 环境变量自定义：支持通过系统环境变量调整模型存储路径（OLLAMA_MODELS）、服务端口（OLLAMA_HOST）、并发请求数（OLLAMA_NUM_PARALLEL）等参数，满足个性化部署需求。
• 跨平台一致性：Windows、Linux、macOS 下命令与 API 行为一致，便于在开发与生产环境间迁移。

使用场景

• 本地离线问答：在没有网络的环境下，使用 Ollama 运行 Qwen 或 Llama 模型，实现私有化的智能问答助手，保障数据不出本地。
• 开发调试与集成：调用 Ollama 的 REST API，将大模型能力嵌入到自己的 Python、Node.js 或 Web 应用中，快速搭建原型。
• CPU 推理实验：Ollama 对 CPU 推理做了优化，即使没有 NVIDIA 显卡，也能在普通笔记本上运行小尺寸模型（如 7B 参数），用于测试效果。
• 教学与学习：通过 Ollama 直观地体验不同开源模型的差异，学习大模型的部署、调用与调优流程，适合 AI 课程实验。
• 替代云端 API：对于高频调用或隐私敏感的场景，用本地 Ollama 替代付费云端 API，降低长期成本并避免数据外传。

安装与获取步骤

1. 访问 Ollama 官网（https://ollama.com）下载 Windows 安装包（OllamaSetup.exe），双击运行，安装过程无需管理员权限，默认安装在当前用户目录。
2. 安装完成后，打开命令提示符（CMD）或 PowerShell，输入 ollama --version 验证安装是否成功，若显示版本号则说明安装正常。
3. （可选）配置环境变量：右键“此电脑” → 属性 → 高级系统设置 → 环境变量，新建用户变量，例如设置 OLLAMA_MODELS 为自定义模型存放路径（如 D:\ollama\models），保存后重启终端生效。
4. 下载并运行第一个模型：在终端执行 ollama run llama3.2，Ollama 会自动拉取模型文件（首次下载可能需要数分钟，取决于网络），下载完成后进入交互式对话界面，输入问题即可获得回答。
5. 测试 API：保持 Ollama 运行，另开终端执行 curl http://localhost:11434/api/generate -d "{\"model\": \"llama3.2\", \"prompt\": \"Hello\"}"，若返回 JSON 响应则说明 API 服务正常。

与同类方案的区别

与 LM Studio 相比，Ollama 更侧重于命令行与 API 自动化，适合脚本化集成；而 LM Studio 提供图形化界面，便于探索模型。Ollama 的模型管理命令简洁，且自带 REST API，而 LM Studio 的 API 需要额外配置。在 Windows 上，Ollama 安装包体积小、无需管理员权限，且支持 CPU 推理；LM Studio 则更强调可视化操作。选择哪个取决于你的工作流：若偏好终端与代码集成，选 Ollama；若偏好图形界面与手动调试，选 LM Studio。

注意事项

• 安装 Ollama 需要至少 4GB 磁盘空间用于二进制文件，模型文件另需额外空间，例如 7B 参数模型约占用 4-5GB，请确保目标磁盘有足够余量。
• 默认模型存储路径位于用户目录（如 C:\Users\你的用户名\.ollama），若系统盘空间紧张，务必在首次拉取模型前通过环境变量 OLLAMA_MODELS 修改存储位置。
• Ollama 在 Windows 上会自动下载更新，若不想自动更新，可关闭后台进程或手动下载旧版本安装包覆盖，但官方推荐保持最新版本以获得修复。
• 运行模型时若遇到内存不足，可尝试使用更小参数的模型（如 3B/7B），或关闭其他占用内存的程序；Ollama 默认使用可用内存的一部分，可通过环境变量调整。
• 防火墙或代理软件可能阻止 Ollama 访问模型下载服务器，若拉取模型超时，请检查网络连接或配置代理环境变量（如 HTTP_PROXY）。
• API 服务默认绑定 127.0.0.1:11434，仅本机可访问；如需局域网内其他设备访问，需设置 OLLAMA_HOST 为 0.0.0.0，并注意防火墙放行。
• 停止模型运行可使用 ollama stop <模型名>，或直接关闭 Ollama 托盘图标；强制结束进程可能导致模型文件损坏，建议正常退出。

常见问题

FAQ