ollama如何使用

为什么你需要学会ollama

很多人在本地运行大模型时，被Python环境、CUDA、模型权重下载折磨得够呛。ollama的出现，把这一切压缩成了一条命令。无论你是想体验Meta的LLaMA、阿里的Qwen，还是想用Mistral写代码，ollama都能让你像使用Docker一样，简单拉取镜像并运行模型。

它解决的核心痛点是：环境依赖复杂、模型下载缓慢、GPU配置困难。ollama内置了运行时的全部依赖，并自动做好GPU加速检测，你只需关心模型本身。

核心功能：把大模型变成“即拉即用”的命令行工具

ollama的强大在于三个核心能力：

• 一键拉取模型：执行 ollama run qwen:7b，它自动从镜像库下载并启动一个对话终端。
• 多模型管理：用 ollama list 查看已安装模型，用 ollama rm 删除不再需要的模型。
• 自定义模型：通过 Modelfile 调整温度、上下文长度等参数，制作自己的专属模型版本。

下载与安装：两条路，任你选

安装ollama非常简单：

• macOS / Linux：打开终端，运行 curl -fsSL https://ollama.com/install.sh | sh，等待安装完成。
• Windows：去官网下载OllamaSetup.exe，双击安装，然后重新打开PowerShell确认已装入。

安装完成后，运行 ollama --version 验证是否成功。如果提示找不到命令，请检查环境变量是否包含了 C:\Users\你的用户名\AppData\Local\Programs\Ollama（Windows）或 /usr/local/bin（mac/Linux）。

ollama如何使用：从命令行到API调用

首次使用，跟着这三步走，基本不会出错：

第一步：运行一个模型

ollama run llama3.2

首次运行会下载约4.7GB的模型文件，耐心等待。出现 >>> 提示符后，就可以直接对话了。输入 /bye 退出。

第二步：常用管理命令

ollama list   # 列出本地模型
ollama pull qwen:7b   # 只下载不运行
ollama rm llama3.2    # 删除模型

第三步：通过HTTP API调用

让ollama在后台启动服务：ollama serve。然后，用任何编程语言向 http://localhost:11434/api/chat 发送POST请求，就能集成到你自己的应用里。例如用cURL：

curl http://localhost:11434/api/chat -d '{"model": "qwen:7b", "messages": [{"role": "user", "content": "你好"}]}'

返回的是JSON流式响应，非常容易解析。

注意事项：避开这些坑

• 端口占用：11434端口可能被其他程序占用，启动服务时查看输出，若有冲突，用 OLLAMA_HOST=0.0.0.0:11435 ollama serve 更换端口。
• 内存不足：7B模型至少需要8GB内存，如果电脑内存只有8GB，建议用 qwen:0.5b 这类小模型先练手。
• GPU加速：NVIDIA显卡需要安装CUDA驱动（11.6+），AMD和Intel显卡的支持正在测试，纯CPU也能运行，只是速度慢很多。
• 模型路径：默认下载到 ~/.ollama/models，如果C盘空间紧张，可设置环境变量 OLLAMA_MODELS 指向其他盘符。

学会了这些，你会发现ollama如何使用其实很简单。从命令行到API，从官方模型到自定义模型，它把大模型本地化部署的门槛降到了最低。现在就去试试吧，有问题随时在社区提问。