ollama使用手册

为什么你需要一份ollama使用手册

很多开发者都想在本地运行大语言模型，但环境配置繁琐、依赖冲突频发，往往一折腾就是半天。ollama正是为解决这个痛点而生——它把模型权重、运行环境、推理接口打包成一个极简工具，让开发者像使用Docker一样一键拉起模型服务。这份ollama使用手册会带你避开常见坑点，直接掌握最核心的操作路径。

核心功能：模型管理与一键部署

ollama最亮眼的能力是模型管理。它内置了模型仓库，支持从Llama、Mistral到Qwen等主流开源模型，你只需要一条命令就能下载并运行对应模型。比如执行ollama run llama3，系统会自动拉取模型并启动交互式对话。这种设计大幅降低了模型获取门槛，尤其适合内网环境或需要离线推理的场景。

核心功能：API与集成能力

除了命令行交互，ollama还提供了兼容OpenAI格式的本地API（默认端口11434），这意味着你可以使用熟悉的SDK或HTTP请求来调用模型。无论是接一个ChatGPT风格的聊天机器人，还是在自己的应用中嵌入“翻译、摘要、生成代码”这类能力，都能通过几行代码搞定。这份ollama使用手册会告诉你如何用curl或Python发起请求，并处理流式输出。

下载与安装：跨平台支持

ollama支持macOS、Linux和Windows。在macOS和Windows上，直接去官网下载安装包双击安装即可。Linux用户则建议用官方脚本一键安装：curl -fsSL https://ollama.com/install.sh | sh。安装完成后，在终端输入ollama --version验证是否成功。如果你的电脑没有独立显卡，ollama会自动切换为CPU运行，只是速度慢一些，功能不受影响。

使用方法：从拉取到调用的完整流程

一、拉取模型：运行ollama pull qwen2.5即可下载阿里千问系列模型。二、启动对话：执行ollama run qwen2.5，就会进入交互式聊天界面，直接输入问题即可。三、调用API：用Python测试——

import requests
r = requests.post('http://localhost:11434/api/generate', json={'model': 'qwen2.5', 'prompt': '你好'})
print(r.text)

注意事项：资源占用与自定义模型

本地运行大模型极其消耗内存，7B参数规模的量化模型大约需要8GB RAM，更大模型要求更高。如果机器配置不足，建议优先选择量化版本（如q4_k_m）。另外，ollama支持通过Modelfile自定义模型，你可以在官方模型基础上微调system prompt或参数，但记住不要随意修改模型文件，否则容易导致加载失败。最后，所有模型默认存储在用户目录的.ollama/models下，定期清理不需要的模型、用ollama stop停止后台进程，能有效释放磁盘和内存。