From 3e56c69f458c4f64db5a46c2e47507d552ab995c Mon Sep 17 00:00:00 2001 From: MaseChen <93691652+MaseChen@users.noreply.github.com> Date: Thu, 25 Jun 2026 11:14:35 +0800 Subject: [PATCH] =?UTF-8?q?(flashinfer):=20=E8=B0=83=E8=8A=82gitlink?= =?UTF-8?q?=E6=A0=BC=E5=BC=8F=E9=97=AE=E9=A2=98?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...r Benchmark实战:从性能基线到XPU-OJ冒烟提交.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md index 5eaf87a..a77393e 100644 --- a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md +++ b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md @@ -530,6 +530,7 @@ FlashInfer 方向包含 **4 个可选算子题目**,每个对应独立的 benc ); ``` + **参数详解:** | 参数 | 类型 | Shape | 含义 | |------|------|-------|------| @@ -547,7 +548,7 @@ FlashInfer 方向包含 **4 个可选算子题目**,每个对应独立的 benc | `head_dim_vo` | `int64_t` | 标量 | V / Output 头维度(固定 128) | | `causal` | `int64_t` | 标量 | 是否 causal mask(固定 1) | - **关键细节** + **关键细节:** - **`qo_indptr` / `kv_indptr` 的语义**:`qo_indptr[b]` 到 `qo_indptr[b+1] - 1` 为第 b 个 batch 的 token 范围。本题中 qo 与 kv 的 `indptr` 长度均为 `seq_len`,因此 `qo_indptr[b] = b × seq_len`,`qo_indptr[b+1] - qo_indptr[b] = seq_len`。