AddingZero
/
op_optimization
forked from metax-maca/op_optimization
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

修正 fused_moe 教程

This commit is contained in:
Xinyi Wu (i26343) - Application Ecology 2026-07-08 17:59:49 +08:00
parent db044853c5
commit ac2c4d9eb1
1 changed files with 9 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

19
基于AI Agent开发范式的国产GPU大模型推理算子库优化/Fused MoE 算子入门：从 Benchmark 验证到 XPU-OJ 接口提交.md
View File

@ -846,9 +846,9 @@ bash scripts/run_fused_moe_i8_tn_benchmark.sh --backend all --warmup 5 --iters 2
请帮我在算子广场检索 fused_moe 算子
```
## 九、常见问题与注意事项
## 九、常见问题
### 9.1 Benchmark 验证
### 9.1 Benchmark 验证常见问题
1. 环境准备与依赖问题
@ -866,14 +866,13 @@ bash scripts/run_fused_moe_i8_tn_benchmark.sh --backend all --warmup 5 --iters 2
3. 性能测试建议
* benchmark 应在关闭其他占用 GPU 的任务​后执行，避免干扰性能数据；
benchmark 应在关闭其他占用 GPU 的任务​后执行，避免干扰性能数据；
* 多次运行取平均值，避免单次抖动影响结果；
多次运行取平均值，避免单次抖动影响结果；
* 性能对比应基于相同随机种子、相同 shape、相同 TopK、相同 batch size​的条件下进行，降低误差。
性能对比应基于相同随机种子、相同 shape、相同 TopK、相同 batch size​的条件下进行，降低误差。
### 9.2 OJ 提交
### 9.2 OJ 提交常见问题
1. 为什么本地能跑，OJ 上却 Runtime Error？
@ -909,11 +908,11 @@ benchmark 应在关闭其他占用 GPU 的任务​后执行，避免干扰
3. 为什么冒烟代码很慢？
冒烟代码的目标是确认接口正确，不是追求性能。
冒烟代码的目标是确认接口正确，不是追求性能。
如果它能过正确性，但耗时很高，这是正常的。下一步才是把核心计算替换成 Triton kernel 或其他更快的 GPU 实现。
如果它能过正确性，但耗时很高，这是正常的。下一步才是把核心计算替换成 Triton kernel 或其他更快的 GPU 实现。
### 9.3 Kernel Swift 智能算子迁移系统自动调优
### 9.3 Kernel Swift 智能算子迁移系统自动调优常见问题
1. 代码规范问题