部署配方
我们做延迟实测时真正执行过的命令与版本号,机器是国内按量租的 GPU(AutoDL)。这里每一步都跑过,每个坑都踩过并修好。只发布真正跑通的步骤;没复现出来的模型单独列出原因。
机器:AutoDL 按量实例,镜像 PyTorch 2.5.1 + CUDA 12.4(miniconda,Python 3.12),数据盘 50 GB 挂在 /root/autodl-tmp · 2026-09-18
通用步骤(AutoDL,国内)
镜像、分组环境、磁盘处理,下面每个模型都用得上。
- pip 换华为云镜像。同机房实测华为云 8 MB/s,阿里云与清华只有 KB 级。
pip config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple && pip config set global.trusted-host repo.huaweicloud.com - 权重走 hf-mirror.com,缓存放数据盘,并关掉 Xet 传输(镜像上 Xet 会 401 或卡死),再卸载 hf_xet。
export HF_ENDPOINT=https://hf-mirror.com HF_HOME=/root/autodl-tmp/hf HF_HUB_DISABLE_XET=1 && pip uninstall -y hf_xet hf-xet - 不同模型要求的 transformers 版本互相冲突,按组建 venv(--system-site-packages 共享系统 torch):openvla 组 4.40.1、spatialvla 组 4.47.0、qwen 组 4.57.1;lerobot 要 torch ≥ 2.7,单独建完整 venv。
python -m venv --system-site-packages /root/envs/<group> - 大权重先串行下完再跑;镜像上 7B 级权重要 20–40 分钟,并行下会互相拖慢。下载加重试循环。跑成功后删该模型权重,50 GB 数据盘放不下第二个 7B。
for i in 1 2 3 4; do python -c "from huggingface_hub import snapshot_download as s; s('<repo>')" && break; sleep 15; done - SSH 会话会断,长任务用 nohup 起并 disown;结束进程用精确匹配(pgrep -f "^/root/envs/..."),pkill -f 会连自己的 shell 一起杀。
nohup bash run_matrix.sh <hardware> <model> > run.log 2>&1 & disown - RTX 5090(Blackwell,sm_120)跑不了镜像自带的 torch 2.5.1;先升到 torch 2.8.0(cu128)。setup_autodl.sh 会自动判断。
pip install torch==2.8.0 torchvision==0.23.0
环境坑位表
不同模型钉的 transformers 版本互相冲突,一组一个 venv。
| 环境组 | transformers | torch | 额外依赖 | 模型 |
|---|---|---|---|---|
| lerobot | 随 lerobot | >= 2.7(独立 venv) | lerobot[smolvla] | SmolVLAπ0 (pi-zero)π0.5 |
| openvla | 4.40.1 | 系统 2.5.1(5090 需 2.8) | timm==0.9.10 · tokenizers==0.19.1 · accelerate | OpenVLAMiniVLAVLA-Adapter |
| spatialvla | 4.47.0 | 系统 2.5.1(5090 需 2.8) | accelerate · scipy | SpatialVLA |
| qwen | 4.57.1 | 系统 2.5.1(5090 需 2.8) | accelerate · qwen-vl-utils · einops | NORAMolmoAct |
配方
每个模型一页:环境、权重、运行命令、坑位、实测延迟。
Hugging Face (LeRobot)
SmolVLA
venv lerobot · 2.0 GB 权重 · 2 个坑位
NVIDIA RTX 4090170 msNVIDIA RTX 5090166 msNVIDIA A800 80GB226 ms
查看配方 →
Stanford / UC Berkeley / TRI 等(OpenVLA 团队)
OpenVLA
venv openvla · 15.2 GB 权重 · 2 个坑位
NVIDIA RTX 4090162 msNVIDIA RTX 5090146 msNVIDIA A800 80GB187 ms
查看配方 →
上海人工智能实验室 等
SpatialVLA
venv spatialvla · 8.5 GB 权重 · 3 个坑位
NVIDIA RTX 4090376 msNVIDIA RTX 5090362 msNVIDIA A800 80GB451 ms
查看配方 →
Declare Lab(新加坡科技设计大学)
NORA
venv qwen · 7.5 GB 权重 · 2 个坑位
NVIDIA RTX 4090112 msNVIDIA RTX 5090129 msNVIDIA A800 80GB146 ms
查看配方 →
Allen Institute for AI(Ai2)
MolmoAct
venv qwen · 30.0 GB 权重 · 4 个坑位
NVIDIA RTX 4090934 msNVIDIA RTX 5090675 msNVIDIA A800 80GB937 ms
查看配方 →
尚未复现
列出卡在哪里。这些模型不发布任何延迟数字。
- π0 (pi-zero) · 需要 Google PaliGemma 分词器,Hugging Face 上要先申请并接受许可(gated),我们的镜像通道拿不到。
- π0.5 · 同 π0:PaliGemma 分词器为 gated 资源。
- MiniVLA · 权重是 prismatic 格式,需要 openvla-mini 仓库自己的运行时,不是 transformers 远程代码;第一阶段未装。
- VLA-Adapter · 同 MiniVLA:依赖 prismatic 运行时。
方向清晰,判断有据。