← 司南实验室 › 部署配方

部署配方

我们做延迟实测时真正执行过的命令与版本号,机器是国内按量租的 GPU(AutoDL)。这里每一步都跑过,每个坑都踩过并修好。只发布真正跑通的步骤;没复现出来的模型单独列出原因。

机器:AutoDL 按量实例,镜像 PyTorch 2.5.1 + CUDA 12.4(miniconda,Python 3.12),数据盘 50 GB 挂在 /root/autodl-tmp · 2026-09-18

通用步骤(AutoDL,国内)

镜像、分组环境、磁盘处理,下面每个模型都用得上。

  1. pip 换华为云镜像。同机房实测华为云 8 MB/s,阿里云与清华只有 KB 级。
    pip config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple && pip config set global.trusted-host repo.huaweicloud.com
  2. 权重走 hf-mirror.com,缓存放数据盘,并关掉 Xet 传输(镜像上 Xet 会 401 或卡死),再卸载 hf_xet。
    export HF_ENDPOINT=https://hf-mirror.com HF_HOME=/root/autodl-tmp/hf HF_HUB_DISABLE_XET=1 && pip uninstall -y hf_xet hf-xet
  3. 不同模型要求的 transformers 版本互相冲突,按组建 venv(--system-site-packages 共享系统 torch):openvla 组 4.40.1、spatialvla 组 4.47.0、qwen 组 4.57.1;lerobot 要 torch ≥ 2.7,单独建完整 venv。
    python -m venv --system-site-packages /root/envs/<group>
  4. 大权重先串行下完再跑;镜像上 7B 级权重要 20–40 分钟,并行下会互相拖慢。下载加重试循环。跑成功后删该模型权重,50 GB 数据盘放不下第二个 7B。
    for i in 1 2 3 4; do python -c "from huggingface_hub import snapshot_download as s; s('<repo>')" && break; sleep 15; done
  5. SSH 会话会断,长任务用 nohup 起并 disown;结束进程用精确匹配(pgrep -f "^/root/envs/..."),pkill -f 会连自己的 shell 一起杀。
    nohup bash run_matrix.sh <hardware> <model> > run.log 2>&1 & disown
  6. RTX 5090(Blackwell,sm_120)跑不了镜像自带的 torch 2.5.1;先升到 torch 2.8.0(cu128)。setup_autodl.sh 会自动判断。
    pip install torch==2.8.0 torchvision==0.23.0

环境坑位表

不同模型钉的 transformers 版本互相冲突,一组一个 venv。

环境组transformerstorch额外依赖模型
lerobot随 lerobot>= 2.7(独立 venv)lerobot[smolvla]SmolVLAπ0 (pi-zero)π0.5
openvla4.40.1系统 2.5.1(5090 需 2.8)timm==0.9.10 · tokenizers==0.19.1 · accelerateOpenVLAMiniVLAVLA-Adapter
spatialvla4.47.0系统 2.5.1(5090 需 2.8)accelerate · scipySpatialVLA
qwen4.57.1系统 2.5.1(5090 需 2.8)accelerate · qwen-vl-utils · einopsNORAMolmoAct

配方

每个模型一页:环境、权重、运行命令、坑位、实测延迟。

尚未复现

列出卡在哪里。这些模型不发布任何延迟数字。

  • π0 (pi-zero) · 需要 Google PaliGemma 分词器,Hugging Face 上要先申请并接受许可(gated),我们的镜像通道拿不到。
  • π0.5 · 同 π0:PaliGemma 分词器为 gated 资源。
  • MiniVLA · 权重是 prismatic 格式,需要 openvla-mini 仓库自己的运行时,不是 transformers 远程代码;第一阶段未装。
  • VLA-Adapter · 同 MiniVLA:依赖 prismatic 运行时。
SinanLab · 司南实验室方向清晰,判断有据。