[组内 Review][moe_reduce_fused] PR B：实现、测试与 C500 基线 #1

cczw · 2026-08-04T16:14:54+08:00

cczw commented

2026-08-04 16:14:54 +08:00

用途

这是 moe_reduce_fused PR B 的团队 fork 内部 Review PR，暂不提交官方仓库。请组内同学先检查实现语义、测试覆盖、benchmark 公平性和 C500 证据；Review 问题关闭后，再决定是否向官方 summer-camp-2026 提交。

完整 PR B 正文已纳入本 PR：

docs/summer-camp/pr-b/moe_reduce_fused.md

提交结构

cc4f01065a829af5e99bb9a819accd8d2f076d1c：Op、TileLang Kernel、测试、benchmark、Manifest 和导出。
da9e56b5965cc1a588ab195d36fbd523de459d79：完整 PR B Markdown 与 C500 验证证据。

建议 Review 重点

token_topk_to_pos == -1 是否始终跳过，FP32 累加顺序及四个变体语义是否正确。
Op/Kernel 分层、输入与预分配 out 校验是否符合仓库惯例。
FP16/BF16/FP32、FP8、K=1/9、全 padding、零 token 和非法输入覆盖是否充分。
benchmark 是否与独立 PyTorch reference 公平比较，计时是否排除编译并执行 L2 flush。
mcProfiler 的低 L2 命中/读流量主导结论，以及 Roofline 超过 100% 表观效率时暂不宣称绝对效率的处理是否合理。

已完成验证

tests/ops/test_moe_reduce_fused.py：14 passed。
benchmarks/tests：17 passed。
tests/test_ops_manifest.py：7 passed。
Manifest validator、git diff --check、compileall 和顶层导入检查通过。
C500 T=512, K=8, H=7168, BF16：PyTorch 0.6072 ms，TileOps 0.0442 ms，加速 13.74x。

分支说明

团队 fork 的 summer-camp-2026 当前是本分支的祖先。本 PR 相对 fork 基线为 5 个提交、10 个文件；其中 3 个提交是 fork 尚未快进的官方基线提交，实际文件差异没有夹带额外无关文件。请勿在完成组内 Review 前向官方仓库重新创建 PR。

## 用途这是 `moe_reduce_fused` PR B 的团队 fork 内部 Review PR，暂不提交官方仓库。请组内同学先检查实现语义、测试覆盖、benchmark 公平性和 C500 证据；Review 问题关闭后，再决定是否向官方 `summer-camp-2026` 提交。完整 PR B 正文已纳入本 PR： `docs/summer-camp/pr-b/moe_reduce_fused.md` ## 提交结构 - `cc4f01065a829af5e99bb9a819accd8d2f076d1c`：Op、TileLang Kernel、测试、benchmark、Manifest 和导出。 - `da9e56b5965cc1a588ab195d36fbd523de459d79`：完整 PR B Markdown 与 C500 验证证据。 ## 建议 Review 重点 - `token_topk_to_pos == -1` 是否始终跳过，FP32 累加顺序及四个变体语义是否正确。 - Op/Kernel 分层、输入与预分配 `out` 校验是否符合仓库惯例。 - FP16/BF16/FP32、FP8、`K=1/9`、全 padding、零 token 和非法输入覆盖是否充分。 - benchmark 是否与独立 PyTorch reference 公平比较，计时是否排除编译并执行 L2 flush。 - mcProfiler 的低 L2 命中/读流量主导结论，以及 Roofline 超过 100% 表观效率时暂不宣称绝对效率的处理是否合理。 ## 已完成验证 - `tests/ops/test_moe_reduce_fused.py`：14 passed。 - `benchmarks/tests`：17 passed。 - `tests/test_ops_manifest.py`：7 passed。 - Manifest validator、`git diff --check`、compileall 和顶层导入检查通过。 - C500 `T=512, K=8, H=7168, BF16`：PyTorch `0.6072 ms`，TileOps `0.0442 ms`，加速 `13.74x`。 ## 分支说明团队 fork 的 `summer-camp-2026` 当前是本分支的祖先。本 PR 相对 fork 基线为 5 个提交、10 个文件；其中 3 个提交是 fork 尚未快进的官方基线提交，实际文件差异没有夹带额外无关文件。请勿在完成组内 Review 前向官方仓库重新创建 PR。

cczw added 5 commits 2026-08-04 16:14:55 +08:00

9e82c0be25 [PR A] 确认规范，同意合并

49b4902bf7 Add moe expand-to-fused manifest spec

70c85c45bd [PR A] 确认规范，同意合并

cc4f01065a feat(moe): migrate reduce fused operator

Implement Manifest-aligned weighted, XSF, FP8-output, and quantized variants with an independent PyTorch reference and Manifest-driven benchmark.\n\nFunctional: 14/14 C500 correctness tests pass before rebase.\nBenchmark: DeepSeek-V3 decode BF16 baseline 0.0442 ms vs PyTorch 0.6070 ms.\nProfile: TODO, collect mcProfiler and Roofline evidence on the rebased commit.\nSource: TileKernels-Metax 79461d72d6f97f91b89403705a841c9d4c1eddd6.

auto-label / apply-label (pull_request) Has been cancelled Details

da9e56b596 docs(moe): add reduce fused pr b review

ancient_rain closed this pull request

2026-08-04 17:05:53 +08:00

auto-label / apply-label (pull_request) Has been cancelled

Details

Pull request closed

Please reopen this pull request to perform a merge.

Sign in to join this conversation.

No reviewers

No Label

No Milestone

No project

No Assignees

1 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: ancient_rain/TileOPs-Metax#1