ollama死机

为什么 ollama 会死机？先看清症状再动手

很多人在本地部署大模型时，都遇到过 ollama 死机的头疼情况：明明刚启动时一切正常，跑几个对话后界面突然无响应，或者后台进程直接消失。这不是单一原因造成的，最常见的是内存分配不足、CPU/GPU 并发设置过高、模型量化版本与硬件不匹配。如果你也卡在这个问题上，别急着卸载重装，下面这套方法能帮你从根上解决 ollama 死机问题。

第一招：调整内存与并发参数，这是治本的起点

ollama 默认会根据系统内存自动设置上下文长度，但在资源紧张的环境下，这个“自动”往往过头了。以 8GB 显存 + 16GB 内存的机器为例，跑 7B 模型时建议把上下文长度限制在 2048 token 以内，同时通过环境变量 OLLAMA_NUM_PARALLEL 控制并发请求数，一般设为 1 或 2 即可。具体操作：在启动服务前，运行 set OLLAMA_NUM_PARALLEL=1（Windows）或 export OLLAMA_NUM_PARALLEL=1（Linux/macOS），再执行 ollama serve。这样能明显减少内存溢出的概率，避免再次出现 ollama 死机。

第二招：换用量化模型，给硬件减负

如果你的模型文件是 fp16 或 bf16 精度，尺寸大且加载慢，运行时极易把内存撑爆。建议去 Hugging Face 或 Ollama 官方库找 Q4_K_M 或 Q5_K_M 等量化版本。以 Llama 3.1 8B 为例，Q4_K_M 版只需约 4.9GB 内存，比原始精度减少近一半。安装时直接使用 ollama pull llama3.1:8b-q4_K_M，旧模型先 ollama rm 删掉，再重新加载。这个方法对解决 ollama 死机立竿见影，尤其适合显卡显存不足的用户。

第三招：监控日志，让死机不再神秘

当 ollama 死机真正发生时，日志是你最可靠的助手。Windows 下可在命令行运行 ollama serve --verbose，日志会实时打印每个请求的内存和耗时；Linux 下则查看 journalctl -u ollama（需先设置 systemd 服务）。重点观察有没有 “out of memory” 或 “CUDA error” 字样，前者说明内存不够，后者说明 GPU 驱动或 CUDA 版本不对。根据日志反馈再针对调整，比盲目试错高效得多。

分步操作：从安装到稳定运行

• 第一步：去官网下载对应系统的 ollama 安装包，Windows 是 .exe，macOS 是 .zip，Linux 用一键脚本 curl -fsSL https://ollama.com/install.sh | sh。
• 第二步：安装后先不急着拉模型，先设置环境变量 OLLAMA_MAX_LOADED_MODELS=1，防止多模型抢占内存。
• 第三步：用 ollama pull 拉取量化模型，如 ollama pull qwen2.5:7b-instruct-q4_K_M。
• 第四步：测试运行 ollama run qwen2.5:7b-instruct-q4_K_M，观察是否流畅。如果仍卡顿，逐步降低上下文长度，例如在对话中输入 /set parameter num_ctx 4096（默认 4096，可调低至 2048）。

注意事项：别让硬件传感器“误伤” ollama

某些主板或笔记本的 BIOS 温控策略可能导致 CPU/GPU 瞬间降频，使 ollama 看起来像死机。建议在电源设置中把处理器性能状态调至 100%，同时用 nvidia-smi 观察显卡温度，确保通风良好。另外，杀毒软件或系统防火墙也可能拦截 ollama 的本地端口，导致请求超时误判为死机。安装时记得把 ollama 加入白名单。只要严格按上述步骤排查，ollama 死机的问题基本能杜绝，你就能安心把它当作本地 AI 工作台，随时切换模型而不必担心崩溃。