GPUStack v2 常见问题
输入“/”快速插入内容
GPUStack v2 常见问题
GPUStack v2 常见问题
用户5983
用户8458用户5502月26日修改
Note：最新适配版本v2.0.3，根据社区问题和产品迭代情况持续更新。
📌 安装部署
GPUStack v2安装部署相关常见问题
1.
GPUStack v2是否支持macOS和Windows？
答：不支持macOS和原生Windows作为Worker运行，GPUStack v2目前仅支持Linux并且仅支持以Docker容器方式运行（podman、containerd等容器运行时尚未支持）。Windows操作系统可以通过wsl2安装使用GPUStack v2 worker（注意：不支持使用Docker Desktop运行Worker）。Server only方式仅需运行GPUStack服务无需GPU硬件支持，可以在macOS等系统以容器方式运行。
2.
如何在 Windows 中部署 GPUStack?
答：若需在 Windows 环境下运行 GPUStack，请使用 WSL2 进行部署。
在 WSL2 中部署 GPUStack，需注意以下几点：
1.
驱动安装：在 Windows 主机安装 NVIDIA 驱动，不要在 WSL 内部安装。
2.
CUDA 环境：无需 CUDA Toolkit（Windows/WSL 均不需要）。
3.
容器环境：请在 WSL 内部安装原生 Docker Engine，不要使用 Docker Desktop。
4.
（可选）局域网访问：若需局域网访问 Server，可在 "WSL Settings" 中将网络模式配置为 Mirrored。
5.
环境检测：运行环境检测时，请使用 默认用户，不要使用 root 用户（nvidia-smi 在 WSL 中的非标准路径中，此路径不在 root 用户下的环境变量中）。
6.
IP 配置：Worker IP 填写 WSL 的具体 IP，使用 127.0.0.1 可能存在问题。
3.
GPUStack 0.7版本中对应不同GPU有不同后缀的Docker镜像，GPUStack v2为什么没有这些镜像？
答：GPUStack 0.7版本中，不同推理后端与GPUStack服务打包在一起按照不同GPU分别提供一个容器镜像，例如gpustack/gpustack:v0.7.1-cuda12.8、gpustack/gpustack:v0.7.1-npu等，运行时推理后端是GPUStack worker容器中的一个进程。GPUStack v2采用Worker与推理后端解耦的架构，运行时GPUStack worker和推理后端各自作为独立容器运行，因此GPUStack服务自身只需要一个标准的镜像（如gpustack/gpustack:v2.0.3）即可，相关推理后端解耦为独立的推理后端runner镜像，例如 gpustack/runner:cuda12.9-vllm0.12.0、gpustack/runner:cuda12.9-sglang0.5.6.post2等。
4.
网络环境不能连接DockerHub，怎么才能下载GPUStack镜像？
答：可以设置Docker registry mirror或者从quay.io获取GPUStack image，quay.io的镜像地址为 quay.io/gpustack/gpustack:latest。
5.
在离线环境部署GPUStack，最少需要哪几个Docker镜像？
答：至少需要以下3个容器镜像：gpustack/gpustack:latest、gpustack/runtime:pause和使用的推理引擎后端镜像如gpustack/runner:cuda12.9-vllm0.12.0等。相关注意事项如下：
•
•
如果使用手工同步镜像方式，注意需要根据实际部署环境的架构（x86或ARM64）同步镜像，Docker pull命令支持通过--platform参数指定架构。例如：在一台x86机器上为一台ARM64架构的GPU服务器同步镜像，可以使用docker pull --platform linux/arm64 <image_name>:<tag>命令。
•
离线环境未指定系统默认镜像仓库时，GPUStack默认使用DockerHub作为镜像源，因此同步的相关镜像如果来源于其它仓库如quay.io，需要通过docker tag命令设置DockerHub的镜像tag。
•
推理后端根据加速框架及版本、推理引擎及版本分为多个独立容器镜像，在线环境中GPUStack将自动检测硬件类型和驱动版本选择最合适的引擎版本下载。以下面的nvidia-smi输出为例，驱动版本为570.195.03，最高支持的cuda版本为12.8，则选择vLLM后端时，默认系统会选择驱动支持的最高CUDA版本以及GPUStack对应版本内置集成的最高vLLM版本使用，例如gpustack/runner:cuda12.8-vllm0.11.2。离线部署时，建议下载对应版本后，部署时选择指定相关推理后端版本。
代码块
❯ nvidia-smi
Sat Dec 20 19:15:32 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.195.03 Driver Version: 570.195.03 CUDA Version: 12.8 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 4080 ... On | 00000000:01:00.0 On | N/A |
| 0% 43C P8 11W / 320W | 33MiB / 16376MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 4080 ... On | 00000000:72:00.0 Off | N/A |
| 0% 41C P8 5W / 320W | 1MiB / 16376MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+