forked from metax-maca/op_optimization
<docs>(flashinfer): 调节gitlink格式问题
This commit is contained in:
parent
9e62c6fb3f
commit
3e56c69f45
|
|
@ -530,6 +530,7 @@ FlashInfer 方向包含 **4 个可选算子题目**,每个对应独立的 benc
|
|||
);
|
||||
```
|
||||
|
||||
**参数详解:**
|
||||
|
||||
| 参数 | 类型 | Shape | 含义 |
|
||||
|------|------|-------|------|
|
||||
|
|
@ -547,7 +548,7 @@ FlashInfer 方向包含 **4 个可选算子题目**,每个对应独立的 benc
|
|||
| `head_dim_vo` | `int64_t` | 标量 | V / Output 头维度(固定 128) |
|
||||
| `causal` | `int64_t` | 标量 | 是否 causal mask(固定 1) |
|
||||
|
||||
**关键细节**
|
||||
**关键细节:**
|
||||
|
||||
- **`qo_indptr` / `kv_indptr` 的语义**:`qo_indptr[b]` 到 `qo_indptr[b+1] - 1` 为第 b 个 batch 的 token 范围。本题中 qo 与 kv 的 `indptr` 长度均为 `seq_len`,因此 `qo_indptr[b] = b × seq_len`,`qo_indptr[b+1] - qo_indptr[b] = seq_len`。
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue