From ac2c4d9eb140a6090c1c45dabf2e76fe038f59c5 Mon Sep 17 00:00:00 2001 From: "Xinyi Wu (i26343) - Application Ecology" Date: Wed, 8 Jul 2026 17:59:49 +0800 Subject: [PATCH] =?UTF-8?q?=E4=BF=AE=E6=AD=A3=20fused=5Fmoe=20=E6=95=99?= =?UTF-8?q?=E7=A8=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...Benchmark 验证到 XPU-OJ 接口提交.md | 19 +++++++++---------- 1 file changed, 9 insertions(+), 10 deletions(-) diff --git a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/Fused MoE 算子入门：从 Benchmark 验证到 XPU-OJ 接口提交.md b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/Fused MoE 算子入门：从 Benchmark 验证到 XPU-OJ 接口提交.md index 760f983..30adb9a 100644 --- a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/Fused MoE 算子入门：从 Benchmark 验证到 XPU-OJ 接口提交.md +++ b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/Fused MoE 算子入门：从 Benchmark 验证到 XPU-OJ 接口提交.md @@ -846,9 +846,9 @@ bash scripts/run_fused_moe_i8_tn_benchmark.sh --backend all --warmup 5 --iters 2 请帮我在算子广场检索 fused_moe 算子 ``` -## 九、常见问题与注意事项 +## 九、常见问题 -### 9.1 Benchmark 验证 +### 9.1 Benchmark 验证常见问题 1. 环境准备与依赖问题 @@ -866,14 +866,13 @@ bash scripts/run_fused_moe_i8_tn_benchmark.sh --backend all --warmup 5 --iters 2 3. 性能测试建议 + * benchmark 应在关闭其他占用 GPU 的任务​后执行，避免干扰性能数据； -benchmark 应在关闭其他占用 GPU 的任务​后执行，避免干扰性能数据； + * 多次运行取平均值，避免单次抖动影响结果； -多次运行取平均值，避免单次抖动影响结果； + * 性能对比应基于相同随机种子、相同 shape、相同 TopK、相同 batch size​的条件下进行，降低误差。 -性能对比应基于相同随机种子、相同 shape、相同 TopK、相同 batch size​的条件下进行，降低误差。 - -### 9.2 OJ 提交 +### 9.2 OJ 提交常见问题 1. 为什么本地能跑，OJ 上却 Runtime Error？ @@ -909,11 +908,11 @@ benchmark 应在关闭其他占用 GPU 的任务​后执行，避免干扰 3. 为什么冒烟代码很慢？ -冒烟代码的目标是确认接口正确，不是追求性能。 + 冒烟代码的目标是确认接口正确，不是追求性能。 -如果它能过正确性，但耗时很高，这是正常的。下一步才是把核心计算替换成 Triton kernel 或其他更快的 GPU 实现。 + 如果它能过正确性，但耗时很高，这是正常的。下一步才是把核心计算替换成 Triton kernel 或其他更快的 GPU 实现。 -### 9.3 Kernel Swift 智能算子迁移系统自动调优 +### 9.3 Kernel Swift 智能算子迁移系统自动调优常见问题 1. 代码规范问题