本地部署大模型教程：Windows 实操

很多人在用 ChatGPT 或国内大模型 API 时，会遇到数据隐私泄露的担忧、频繁调用的费用，以及断网环境下无法使用的窘境。如果你也想本地部署大模型，把推理能力掌握在自己手里，那么这篇文章就是为你准备的。这里我以 Windows 系统为例，用最容易上手的 Ollama 工具，带你从零开始完成一次完整的本地部署大模型实操。

开始之前，先聊聊为什么会选择本地部署大模型。一方面，本地推理不依赖网络，数据不用上云，敏感业务信息留在你的硬盘上；另一方面，你还可以自由选择模型、控制上下文长度，甚至微调。对于普通用户或小团队，这几乎是零门槛获得私有 AI 能力的方式。

部署前的硬件与软件准备

本地部署大模型对硬件有一定要求。首先，你得确认自己 GPU 显存有多大。一般来说，运行 7B 量级的模型，至少需要 6GB 显存，推荐 8GB 以上。如果没有独立显卡，纯 CPU 模式也能跑，但速度会慢很多，适合测试。其次，请确保你的 Windows 系统是 10 或 11，并且已安装最新驱动。

软件方面，推荐直接使用 Ollama，它是一个跨平台的大模型管理工具，安装简单，自带命令行和 API 服务。你不需要手动配置 Python 环境或 CUDA 库，非常适合初学者。

用 Ollama 在 Windows 上跑通大模型

第一步，去 Ollama 官网下载 Windows 安装包，双击完成安装。完成后打开命令提示符，输入 ollama --version，看到版本号就说明安装成功。

第二步，下载一个模型。这里以阿里的 Qwen2.5 为例，执行 ollama pull qwen2.5:7b。如果你显存不够，可以换成更小的 qwen2.5:0.5b 试试。下载过程会显示进度条，模型文件较大，请耐心等待。

第三步，运行模型。输入 ollama run qwen2.5:7b，看到回车符后你就可以像聊天一样提问了。完成本地部署大模型后，你还可以通过 REST API 调用：另开一个窗口执行 ollama serve，然后用 Python 的 requests 库 POST 到 http://localhost:11434/api/generate 即可。

常见坑与注意事项

新手最容易踩的坑是显存不足。如果运行时报 OOM 或速度慢，建议换用 4bit 量化版本，比如 qwen2.5:7b-q4_K_M。同时，尽量不要同时打开多个对话窗口，避免内存占用过高。

另外，模型下载默认存放在 C 盘，时间久了会占大量空间。可以通过设置环境变量 OLLAMA_MODELS 改为其他盘。还有一点，Ollama 默认只监听本地，如果你想局域网内使用，需要修改 OLLAMA_HOST。最后提醒：不要轻易使用模型权重较大的 13B、70B 版本，除非你的显卡足够豪华。

总之，本地部署大模型并不神秘，只要按步骤操作，多数机器都能跑起来。希望这篇教程能帮你快速入门，有任何问题欢迎在评论区交流。