Xinference 下载

简介

Xorbits Inference（简称 Xinference）是一个开源平台，用于简化各种 AI 模型的运行和集成。它基于 Xoscar actor 编程框架构建，提供分布式推理能力，支持大语言模型（LLM）、嵌入模型、多模态模型、语音识别模型、文生图模型等。Xinference 解决的是模型部署和调用门槛高、资源管理复杂的问题，让开发者、培训者、科研人员可以在本地或云端环境中，像使用普通服务一样启动和调用模型。其核心优势在于：跨平台支持（Linux、Windows、macOS）、一键安装、内置模型管理、支持多种推理后端，以及可通过 Docker 或 Kubernetes 进行集群化部署。官方地址为 https://github.com/xorbitsai/inference，中文文档见 https://inference.readthedocs.io/zh-cn/latest/。

核心功能

• 支持多种模型类型：包括大语言模型、嵌入模型、多模态模型、语音识别模型、文生图模型等，覆盖主流 AI 推理需求。
• 分布式推理：基于 Xoscar 框架，模型可在多机集群上部署，支持横向扩展，适合大规模并发场景。
• 一键安装与启动：提供 pip 安装和 Docker 镜像两种方式，安装后通过命令行即可启动模型服务，无需复杂配置。
• 内置模型管理：内置模型仓库，可自动下载和管理模型权重，支持从 Hugging Face 等源拉取模型。
• OpenAI 兼容 API：提供与 OpenAI 兼容的接口，方便接入现有应用，降低迁移成本。
• 多后端支持：集成 vLLM、llama.cpp、transformers 等推理引擎，用户可根据硬件和性能需求选择后端。
• Web UI 管理界面：提供图形化界面，用于模型管理、推理参数配置和监控，降低使用门槛。

使用场景

• 本地开发调试：开发者在个人电脑上快速启动 LLM 进行功能验证和 Prompt 调优，无需 GPU 也可用 CPU 运行小模型。
• 企业内部模型服务：将 Xinference 部署在服务器上，为多个业务系统提供统一的模型推理 API，支持高并发。
• 科研实验：研究人员使用 Xinference 部署多种模型进行对比测试，利用分布式能力加速批量推理。
• 知识库构建：结合嵌入模型和向量数据库，搭建本地知识库问答系统，Xinference 提供嵌入模型服务。
• 多模型混合部署：在同一集群中同时运行 LLM、语音识别、文生图等模型，统一管理资源。

安装与获取步骤

1. 准备 Python 环境：Xinference 要求 Python 3.9 及以上版本，建议使用 conda 创建独立环境，避免依赖冲突。
2. 使用 pip 安装：在终端执行 pip install xinference 命令，安装最新稳定版。若需安装特定版本，可指定版本号，如 pip install xinference==0.11.0。
3. 启动服务：安装完成后，在命令行执行 xinference-local 启动本地服务，默认监听 9997 端口。也可使用 xinference 命令以集群模式启动。
4. 通过 Docker 部署：拉取官方 Docker 镜像（参考文档中的 Docker Compose 示例），运行容器即可快速启动，适合服务器或生产环境。
5. 在 Kubernetes 集群中安装：按照官方文档提供的 Helm 或 YAML 配置，在 K8s 集群中部署 Xinference，实现弹性伸缩。

与同类方案的区别

• 相比 vLLM：Xinference 提供更完整的模型管理界面和多种后端切换，vLLM 更专注于高性能 LLM 推理，但配置较复杂。
• 相比 Ollama：Xinference 支持更广泛的模型类型（如嵌入、语音、文生图），且支持分布式部署，Ollama 更轻量但功能较单一。
• 相比 LocalAI：Xinference 基于 Xoscar 的 actor 模型，资源隔离和扩展性更强，LocalAI 更侧重单机易用性。

注意事项

• 首次启动时，Xinference 会自动下载模型文件，请确保网络畅通，且磁盘空间充足（模型大小从几百 MB 到几十 GB 不等）。
• 在 Windows 上使用 pip 安装时，建议使用管理员权限的终端，并确保已安装 Microsoft C++ Build Tools，否则可能编译失败。
• 若使用 CPU 推理，请选择适合 CPU 的模型（如量化版本），否则推理速度可能极慢，影响体验。
• 分布式部署时，需确保所有节点网络互通，且共享存储（如 NFS）用于模型文件同步，否则各节点需单独下载模型。
• Docker 部署时，需映射 9997 端口，并挂载数据卷以持久化模型缓存，避免容器重建后重复下载。
• 日志默认输出到控制台，可通过环境变量调整日志等级（如 DEBUG），用于排查推理错误。
• 若遇到模型加载失败，可检查模型名称是否与内置仓库一致，或尝试指定模型路径（如 --model-path）手动加载。

常见问题

如何查看 Xinference 版本？

在终端执行 pip show xinference 或 xinference --version，即可查看已安装版本。

Xinference 支持哪些模型格式？

支持 GGML、GGUF、PyTorch 等常见格式，具体取决于所选推理后端（如 llama.cpp 支持 GGUF，transformers 支持 PyTorch）。

如何更换推理后端？

启动模型时通过 --backend 参数指定，例如 xinference launch --model-name qwen2.5 --backend vllm，或使用 Web UI 在模型详情中切换。

Xinference 与 OpenAI API 兼容吗？

兼容。Xinference 提供 /v1 接口，支持 chat/completions 和 embeddings，可直接替换 OpenAI SDK 的 base_url。

在 Mac 上安装遇到编译错误怎么办？

确保已安装 Xcode Command Line Tools，并升级 pip 到最新版。若问题持续，可尝试使用 conda 环境安装，或参考官方 issue。

如何停止正在运行的模型？

在 Web UI 中点击模型对应的「停止」按钮，或使用命令行 xinference stop --model-name <模型名>。

Xinference 是否支持 GPU 加速？

支持。安装时需安装对应 CUDA 版本的 PyTorch，启动模型时指定 GPU 设备（如 --gpu-id 0）。

如何获取更多帮助？

可查阅官方文档 https://inference.readthedocs.io/zh-cn/latest/ 或访问 GitHub 仓库 https://github.com/xorbitsai/inference 提交 issue。