ollama使用指南

为什么你需要本地跑大模型

每次想试开源模型都得先配Python环境、装CUDA、处理依赖冲突，稍微折腾一下半天就过去了。更头疼的是，数据要传到第三方API总会担心隐私问题。如果你也受够了这些，ollama就是专门解决这类场景的工具——它把大模型封装成一条命令就能运行，模型权重全部留在本地，断网也能用。

ollama核心功能：省心到极致

一条命令拉起完整推理服务

ollama不像其他框架那样要求你手动管理模型文件、定制推理脚本。安装完成后，只需要ollama run llama3.2，它就会自动下载并启动模型，然后弹出一个交互式终端，直接聊天。更妙的是，它内置了兼容OpenAI的REST API，端口默认11434，方便你接入现有应用。

模型管理像Docker一样清爽

通过ollama pull qwen:7b拉取模型，ollama list查看已下载列表，ollama rm删除不需要的模型。每个模型都有独立标签，切换版本只需改冒号后的名字。对于本地开发者来说，这种工作流比手动维护权重文件夹高效得多。

零基础快速上手教程

这里给出一份完整的ollama使用指南，你只需按顺序执行：

• 下载安装：去ollama.com/download，选择对应系统。macOS直接拖拽安装，Windows用户运行安装包，Linux执行官方一键脚本。
• 验证安装：终端输入ollama --version，看到版本号就说明成功了。
• 首次运行：执行ollama run llama3.2，等待进度条走完即可对话。如果内存不够，试试qwen:0.5b这种小模型。
• 调用API：另开终端，用curl测试：curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"你好"}'，返回JSON就是成功。
• 自定义端口：设置环境变量OLLAMA_HOST=0.0.0.0:8000，就能让局域网其他设备访问。

值得一提的是，官方还提供Python、JavaScript等SDK，直接pip install ollama就能在代码里调用，无需自己拼HTTP请求。

使用注意事项与避坑建议

首先，模型大小和内存直接相关。7B模型量化后约4GB，建议至少16GB内存；34B模型则要32GB以上，否则会疯狂使用交换分区拖垮速度。其次，首次拉取大模型建议用有线网络，中途断线可以用ollama pull续传。最后，如果你在服务器上部署，记得加防火墙规则，只允许内网访问，因为默认端口没有鉴权，暴露公网会有被滥用的风险。

这份ollama使用指南的核心思路就一句话：让模型推理回归“简单”。无论你是个人开发者做demo，还是企业想私有化部署，它都能帮你把精力集中在业务逻辑上，而不是底层环境。