【免费下载链接】vllm-windowsA high-throughput and memory-efficient inference and serving engine for LLMs (Windows build kernels)项目地址https://gitcode.com/gh_mirrors/vl/vllm-windows点击查看免费下载vllm-windows是知名大模型推理引擎vLLM的 Windows 原生构建版本。vLLM 本身以高吞吐量、显存高效著称PagedAttention、连续批处理、前缀缓存等而 vllm-windows 则让这套能力直接跑在原生 Windows NVIDIA GPU 上——无需 WSL2、无需虚拟机即可在 Windows 上启动一个标准的OpenAI 兼容 API 服务器默认监听http://localhost:8000。这篇文章将带你用 5 个步骤完成从零到可用的完整部署。️ 为什么是 vllm-windows先了解它解决了什么很多用户在 Windows 上跑 vLLM第一反应是 WSL2。但 WSL2 本质是一个轻量虚拟机会带来额外开销GPU 直通、驱动转发带来的推理延迟与不稳定内存损耗WSL2 默认占用的虚拟内存会挤占显存/内存预算内核版本受限新 GPU如 Blackwell 架构的 RTX 50 系列与新版 CUDA 的支持往往滞后。vllm-windows 直接针对原生 Windows 平台编译 CUDA 内核并带来两大新特性详见 README.md⚡CUDA 13 Blackwell GPU 支持——原生 Windows 下使用最新架构显卡⚡NCCL 张量/流水线并行——原生 Windows 下的多 GPU 推理。vLLM 的 v1 引擎架构如下图所示请求经过连续批处理调度、PagedAttention 显存管理后由多进程协同执行——vllm-windows 保留了这套完整架构第 1 步准备前置环境Python CUDA 显卡驱动在开始之前确认你的机器满足以下条件组件建议版本说明操作系统Windows 10 / 11 (x64)原生 Windows无需 WSL2NVIDIA 驱动支持 CUDA 13 的最新版本Blackwell 显卡RTX 50 系请装最新驱动CUDA Toolkit12.x 或 13.x与 wheel 版本匹配Python与 wheel 标注版本一致发行说明中会标明 Python/Torch/CUDA 版本Visual Studio 2019仅源码编译需要需含 C x64 编译器 小技巧安装 wheel 前先核对发布说明中标注的Python、Torch、CUDA 三件套版本是否与你的环境一致这是 Windows 下最常见的坑。第 2 步安装 vllm-windows推荐 wheel 一键安装方式 A安装预编译 wheel推荐新手从仓库的 Release 页面下载与你环境匹配的 wheel 文件打开 cmd 或 PowerShell执行pip install DOWNLOADED_WHEEL_PATH方式 B从源码编译环境特殊时如果你的环境与官方 wheel 不匹配可以参考 README.md 中的源码编译指引cd C:\ git clone --single-branch --branch vllm-for-windows https://gitcode.com/gh_mirrors/vl/vllm-windows.git接着加载 Visual Studio 的 x64 编译环境并设置关键变量VLLM_TARGET_DEVICEcuda指定 CUDA 后端MAX_JOBS控制并行编译线程数VISUAL_STUDIO_INSTALL_PATH\VC\Auxiliary\Build\vcvarsall.bat x64 cd C:\vllm-windows set DISTUTILS_USE_SDK1 set VLLM_TARGET_DEVICEcuda set MAX_JOBS10⚠️CUDA 13.0 ~ 13.2 用户注意这个版本的cuda.h存在 128 字节对齐问题MSVC 尚不支持按值传递alignas(128)类型。编译前需以管理员身份运行一次官方补丁脚本fix_cuda_13_align.py见 README.md 中的 IMPORTANT FOR CUDA 13.0 TO CUDA 13.2 BUILDS 章节。最后安装依赖与主包依赖清单位于 requirements/cuda.txt、requirements/build/cuda.txtpip install torch2.11cu130 torchaudio2.11cu130 torchvision0.26.0cu130 --index-url https://download.pytorch.org/whl/cu130 pip install -r requirements/build/cuda.txt pip install -r requirements/cuda.txt pip install . --no-build-isolation -vvv第 3 步用 vllm serve 启动 OpenAI 兼容 API 服务器安装完成后一条命令即可启动服务。以 Qwen 小参数模型为例vllm serve Qwen/Qwen2.5-1.5B-Instruct服务器默认启动在http://localhost:8000常用参数--host/--port修改监听地址与端口--gpu-memory-utilization 0.8显存占用比例--max-model-len 16384限制最大上下文长度小显存卡上很实用--api-key为服务器开启 API Key 鉴权。启动成功后你可以看到熟悉的Uvicorn running on http://0.0.0.0:8000日志。此时你的 Windows 机器已经是一个OpenAI 兼容的 LLM 推理服务了。更多启动参数详见 docs/serving/online_serving/openai_compatible_server.md。第 4 步验证 API 是否工作正常先列出当前加载的模型curl http://localhost:8000/v1/models再发一个标准的 Chat Completions 请求curl http://localhost:8000/v1/chat/completions ^ -H Content-Type: application/json ^ -d {\model\: \Qwen/Qwen2.5-1.5B-Instruct\, \messages\: [{\role\: \user\, \content\: \你好\}]}提示Windows 的 cmd 中续行符是^PowerShell 中为。由于接口完全兼容 OpenAI 协议把 Python SDK 的base_url指向本地即可from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://localhost:8000/v1) resp client.chat.completions.create( modelQwen/Qwen2.5-1.5B-Instruct, messages[{role: user, content: 用一句话介绍 vLLM}], ) print(resp.choices[0].message.content)完整的客户端示例可参考 examples/basic/online_serving/openai_chat_completion_client.py。第 5 步接入聊天客户端体验完整 AI 应用有了 OpenAI 兼容 API几乎所有主流客户端都能直接接入。ChatBox在设置中选择 OpenAI API Compatible将 API Host 填为http://localhost:8000/v1模型填服务中的 model 名即可配置完成后就能愉快地本地对话了Open WebUI适合想要网页端体验的用户配置 Base URL 后即可在浏览器中获得带会话管理的聊天界面 进阶原生 Windows 多 GPU 并行推理vllm-windows 已支持原生 Windows 下的 NCCL 多卡推理流程参考 README.md先按 NCCL 的 Windows 构建指引自行编译nccl.dll启动服务前设置环境变量指向编译产物set VLLM_NCCL_SO_PATHC:\nccl-windows\install\bin\nccl.dll启动时追加并行参数即可vllm serve YOUR_MODEL --port 8000 --max-model-len 16384 --trust-remote-code --gpu-memory-utilization 0.8 --pipeline-parallel-size 2这样双卡即可承载更长的上下文和更大的模型。 常见问题速查问题建议启动报 CUDA/驱动不匹配核对 wheel 标注的 CUDA 版本与本机驱动版本源码编译极慢调大MAX_JOBSFA3 在 Windows 下默认已禁用Hopper 不可用无意义CUDA 13.0~13.2 编译报错先以管理员身份运行fix_cuda_13_align.py补丁显存不够 OOM降低--gpu-memory-utilization或--max-model-len或换更小的模型想反馈问题该仓库只接受Windows 相关问题的 Issue通用 vLLM 问题请去 vLLM 官方社区写在最后从pip install到vllm servevllm-windows 让你在原生 Windows 上五步之内就能拥有一个OpenAI 兼容的 LLM API 服务器没有 WSL2 的虚拟层、没有驱动转发的玄学配合 CUDA 13 与 Blackwell 支持Windows 玩家的本地 AI 推理体验正在被真正补齐。核心引擎源码位于 vllm/ 目录快速上手教程可参阅 docs/getting_started/quickstart.md。祝你部署顺利赞分享【免费下载链接】vllm-windowsA high-throughput and memory-efficient inference and serving engine for LLMs (Windows build kernels)项目地址https://gitcode.com/gh_mirrors/vl/vllm-windows点击查看免费下载相关推荐如何用vLLM部署HunyuanOCR3步暴露OpenAI兼容的OCR API服务如何用vLLM部署HunyuanOCR3步暴露OpenAI兼容的OCR API服务 本文带你用 vLLM 快速部署 HunyuanOCR这个轻量级端到端 O人工智能大模型计算机视觉多模态OCRInternVL3_5-14B-Pretrained 生产部署指南LMDeploy 与 vLLM 搭建 OpenAI 兼容 API 服务InternVL3_5 14B Pretrained 生产部署指南LMDeploy 与 vLLM 搭建 OpenAI 兼容 API 服务 本文以 InternInternVL3_5-8B-Pretrained部署指南LMDeploy、vLLM与OpenAI兼容API服务搭建InternVL3_5 8B Pretrained部署指南LMDeploy、vLLM与OpenAI兼容API服务搭建 InternVL3_5 8B Pretr上一篇Locally Uncensored 语音输入输出实战faster-whisper Piper 本地说与听完整指南下一篇如何在 Claw Compactor 中添加自定义压缩阶段完整 FusionStage 开发者指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考