ollama内存不足

运行大模型总是被内存拖垮？

许多本地开发者在运行 Llama 3、Qwen 等大模型时，总会碰到一个恼人的提示：内存不足。不只是显存，系统内存也常常被吃光，导致系统卡死甚至自动重启。尤其当你同时开多个模型，或使用长上下文时，“ollama内存不足”几乎成了家常便饭。本文将从内存分配机制入手，给出几条可验证的优化路径。

理解 Ollama 的内存分配机制

Ollama 的默认行为是：模型加载到内存后，会保留一系列缓存（包括 KV cache），即使推理结束也不会立即释放。它会尝试缓存多个模型以加快切换速度，导致内存被快速占满。另外，与 GPU 推理不同，CPU 推理时所有参数和中间激活都放在系统内存中，所以一旦你使用了大体量模型，内存占用会瞬间飙升。理解这一点，是解决 ollama内存不足 的第一步。

用环境变量精细控制内存占用

巧妙设置几个关键环境变量，可以精准限制内存占用：

• OLLAMA_MAX_LOADED_MODELS：限制同时加载的模型数量，设为 1 可严格避免多模型挤爆内存。
• OLLAMA_NUM_PARALLEL：控制并发请求数，过高的并发会成倍增加内存消耗。
• OLLAMA_KEEP_ALIVE：模型驻留时间，设为 0 或较短时长，让空闲模型立即卸载。

合理调参，是解决 ollama内存不足 最直接的手段。例如，将 OLLAMA_MAX_LOADED_MODELS 设为 1，OLLAMA_NUM_PARALLEL 设为 1，OLLAMA_KEEP_ALIVE 设为 5m，一般能明显降低内存峰值。

模型选择与系统级优化

除了环境变量，从“源头”控制也是好办法。优先选择量化模型：q4_0、q5_k_m 等版本比原始 FP16 模型可减少约 75% 内存占用。同时，根据实际任务缩短上下文长度，通过 ollama run 时的 --num_ctx 参数限制。系统层面，可以增加 swap 空间作为兜底，并调整操作系统的文件缓存上限，为 Ollama 留出更多可用内存。

具体操作步骤

以 Windows 为例，在“系统属性 → 环境变量”中新建系统变量，分别添加上述三个变量并设置值；Linux/macOS 可以在启动前导入 export。例如：

export OLLAMA_MAX_LOADED_MODELS=1
export OLLAMA_NUM_PARALLEL=1
export OLLAMA_KEEP_ALIVE=5m

然后重启 Ollama 服务，再次加载模型，通过 ollama ps 查看驻留模型数量，确认内存占用是否恢复正常。

注意事项

设置 OLLAMA_KEEP_ALIVE=0 虽然能迅速释放内存，但每次推理都要重新加载模型，会大幅增加延迟。增加 swap 只能避免崩溃，并不能真正提升性能，建议作为应急手段。另外，若使用 Docker 运行 Ollama，需要把环境变量传给容器（-e 参数）。最后务必通过 ollama ps 观察实际驻留情况，验证优化是否生效。