
# vLLM Ascend offload 参数性能测试报告

> 测试日期: 2026-07-05  
> 测试模型: `Qwen2.5-1.5B-Instruct`  
> 日志目录: `/data/vllm-ascend-smoke/logs/param-1p5b-20260705-114126`

## 一、测试概述

本报告对 `offload_group_size` 与 `offload_num_in_group` 的不同组合进行量化评估，比较 baseline 与各参数组合的吞吐和估算 HBM 节省。

## 二、测试方法

运行脚本：

```bash
/data/vllm-ascend-smoke/run_benchmark_all.sh
```

每个 case 加载同一 1.5B 模型，执行固定 prompt 集合，并从日志中提取：

- `output_tokens_per_second`
- offload layer 数量
- 估算节省 HBM

## 三、结果

| case | group_size | num_in_group | offload layers | saved GB | output tok/s |
|---|---:|---:|---:|---:|---:|
| baseline_0_1 | 0 | 1 | 0 | 0.0000 | 38.8511 |
| group_8_num_1 | 8 | 1 | 3 | 0.2615 | 41.7467 |
| group_4_num_1 | 4 | 1 | 7 | 0.6102 | 24.5113 |
| group_2_num_1 | 2 | 1 | 14 | 1.2203 | 14.5874 |
| group_4_num_2 | 4 | 2 | 14 | 1.2203 | 14.9576 |

## 四、分析

1. `group_8_num_1` 只 offload 少量层，吞吐与 baseline 接近，并获得约 0.26 GB HBM 释放。
2. `group_4_num_1` 释放约 0.61 GB HBM，但短请求吞吐下降明显。
3. `group_2_num_1` 与 `group_4_num_2` offload 层数相同，节省 HBM 接近，吞吐也接近，验证两个参数的选择语义一致。
4. 该参数适合 HBM 紧张、需要换取可加载模型规模或并发空间的场景；不适合作为纯吞吐优化开关。

## 五、限制

当前 benchmark 只覆盖单卡、短 prompt、Python LLM API。后续 PR 可补充 server streaming TTFT、长上下文和多并发压测。
