为 FlashInfer 基准结果增加结构化汇总脚本 #58

Mengz · 2026-06-26T10:04:27+08:00

Mengz commented

2026-06-26 10:04:27 +08:00

First-time contributor

现在 FlashInfer 基准会分散生成多个 CSV 和运行日志，回归对比时需要人工逐个翻看才能知道哪些 wrapper 成功、哪些 case 失败、以及性能最好的参数落在哪一组。

这个提交新增 summarize_results.py，可以批量读取 CSV，按 API 维度汇总行数、成败状态、最优 time_ms、bandwidth_GB_s、tflops，同时保留失败 case 的错误信息，直接输出 Markdown 报告。

已在沐曦 GPU 环境用 4 个基准 CSV 完成实际验证，成功生成汇总报告，其中 1 个 wrapper 返回性能结果，3 个 wrapper 保留了 float division by zero 的失败明细，适合后续回归记录和问题浏览。

现在 FlashInfer 基准会分散生成多个 CSV 和运行日志，回归对比时需要人工逐个翻看才能知道哪些 wrapper 成功、哪些 case 失败、以及性能最好的参数落在哪一组。这个提交新增 summarize_results.py，可以批量读取 CSV，按 API 维度汇总行数、成败状态、最优 time_ms、bandwidth_GB_s、tflops，同时保留失败 case 的错误信息，直接输出 Markdown 报告。已在沐曦 GPU 环境用 4 个基准 CSV 完成实际验证，成功生成汇总报告，其中 1 个 wrapper 返回性能结果，3 个 wrapper 保留了 float division by zero 的失败明细，适合后续回归记录和问题浏览。

Mengz added 1 commit 2026-06-26 10:04:27 +08:00

d38f5d8ac8 feat: summarize FlashInfer benchmark results

This pull request can be merged automatically.

This branch is out-of-date with the base branch

You are not authorized to merge this pull request.

You can also view command line instructions.

Step 1:

From your project repository, check out a new branch and test the changes.

git checkout -b Mengz-mengz/flashinfer-result-summary master

git pull mengz/flashinfer-result-summary

Step 2:

Merge the changes and update on Gitea.

git checkout master

git merge --no-ff Mengz-mengz/flashinfer-result-summary

git push origin master

Sign in to join this conversation.

No reviewers

No Label

No Milestone

No project

No Assignees

1 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: metax-maca/op_optimization#58