Xinference离线安装包

简介

Xinference（Xorbits Inference）是一个开源的模型推理平台，通过一套统一、面向生产的推理 API，在云端、本地服务器或个人电脑上运行开源大语言模型、嵌入模型、重排序模型以及多模态与语音模型。它要解决的问题是：内网或离线环境无法访问外部接口、各类模型分散难以统一调用。适合需要私有化知识库、RAG 应用与本地推理服务的团队，也适合想把 GPT 类接口替换为本地开源模型的开发者。核心优势是一套 API 覆盖多类模型，并提供本地进程、Docker、Docker Compose、Kubernetes 等多种运行方式。

核心功能

• 统一推理 API：LLM、Embedding、ReRank、多模态与语音模型共用同一套接口，把原有 GPT 接口切换到本地模型时只需更换配置。
• 模型类型覆盖广：可在云端或本地环境运行开源 LLM、嵌入模型、多模态模型，语音类模型同样走同一入口。
• 多种运行形态：支持在本机直接运行、使用 Docker 镜像、通过 Docker Compose 编排，或在 Kubernetes 集群中部署，官方文档均设有对应章节。
• 推理后端可选：离线部署场景下可基于 vLLM、SGLang 等推理引擎运行，具体支持范围以官方文档说明为准。
• 界面与 API 并存：提供操作界面查看与管理已加载模型，同时暴露 HTTP API 供程序调用，便于自动化脚本接入。
• 便于对接下游系统：FastGPT、Dify 等知识库与编排平台可把 Xinference 作为本地模型来源，接入 LLM、Embedding 与 ReRank 能力。

使用场景

• 内网离线部署：服务完全脱离互联网运行，依赖包与镜像提前拷入，通过脚本自动化完成配置，适合对网络隔离有要求的环境。
• 企业级 RAG 知识库：同时部署 Embedding 与 ReRank 模型，Embedding 负责召回、ReRank 负责重排，提升检索精度。
• Dify 与 Xinference 组合：在 GPU 机器上先准备显卡驱动、CUDA、CuDNN，再由 Dify 调用本地模型完成应用编排。
• 个人开发与原型验证：在自己的笔记本或开发机上运行开源模型，用统一 API 快速替换外部接口做联调。
• 容器化与资源隔离：用 Docker 承载服务并精确分配 GPU 资源，避免多个模型服务争抢显卡造成冲突。

安装与获取步骤

1. 先确认运行环境与联网条件：可联网环境参照官方入门指南 https://inference.readedocs.io/zh-cn/latest/getting_started/ 选择本地运行、Docker 镜像、Docker Compose 或 Kubernetes 中的一种方式。
2. 准备离线依赖：在有网机器上按目标系统下载已编译好的 whl 文件，例如到 llama-cpp-python 官方 releases 页面 https://github.com/abetlen/llama-cpp-python/releases 按系统与 CUDA 版本选择对应产物，连同其他依赖一并打包。
3. 在目标机器创建并激活 Python 环境，配置可用的镜像源后用 pip 从本地 whl 目录安装 Xinference，具体包名与参数以官方页面为准。
4. Docker 离线路径：在有网机器拉取所需镜像并导出为文件，传输到内网服务器后导入，再按启动参数说明启动容器。
5. 启动服务后，通过界面或 API 加载所需的 LLM、Embedding、ReRank 模型，记录服务地址与端口，供知识库或编排系统接入。

与同类方案的区别

• 与 ollama、localai 相比：三者都面向本地模型运行，Xinference 更强调统一推理 API 与模型类型覆盖，除 LLM 外还提供 Embedding、ReRank 与多模态能力。
• 与直接使用 llama-cpp-python 相比：后者是推理库，Xinference 在其之上提供服务化 API 与管理界面，便于统一管理多个模型。
• 与 vLLM、SGLang 相比：它们偏推理引擎，Xinference 属于平台层，在离线部署时可把这类引擎作为后端选用。
• 与 Dify、FastGPT 相比：后者是应用编排与知识库层，Xinference 负责提供模型推理服务，两者是上下游关系而非替代关系。

注意事项

• 离线依赖需与目标机器的操作系统、Python 版本、CUDA 版本匹配，whl 选错平台会出现无法导入或 CUDA 相关报错。
• 内网机器无法访问外网时，模型权重需提前下载并放到对应目录，否则加载模型会直接失败。
• 使用 GPU 时先确认显卡驱动、CUDA、CuDNN 满足所选推理引擎的要求，缺少任一环节都可能导致模型无法启动。
• Docker 镜像体积较大，拉取失败时可改为导出后传输导入，或使用社区封装的一键启动包，但需自行核对来源。
• 第三方封装的启动器（例如双击 Xinference.exe 即可拉起服务）来自社区，其内容与适用范围以提供方说明为准。
• 版本号、文件大小、哈希、发布日期等信息均以官方页面为准，本页不作罗列。