forked from metax-maca/op_optimization
Compare commits
45 Commits
update-doc
...
master
| Author | SHA1 | Date |
|---|---|---|
|
|
4f2aa14e92 | |
|
|
2b9725da72 | |
|
|
291fa3fd6d | |
|
|
0362e5aeea | |
|
|
a62495f371 | |
|
|
034f4408d2 | |
|
|
cf3196825a | |
|
|
1a1ab4d91c | |
|
|
bd19176119 | |
|
|
bed86dafbf | |
|
|
232f2631c7 | |
|
|
18268c2639 | |
|
|
395c607128 | |
|
|
a8d08bcbc5 | |
|
|
931fd9e3de | |
|
|
6e78e3defd | |
|
|
641ade97b6 | |
|
|
e6a416096d | |
|
|
a686eb3b5b | |
|
|
88f7103e02 | |
|
|
8b2d154405 | |
|
|
cd60d02057 | |
|
|
3342f411cd | |
|
|
43d0afee79 | |
|
|
781d2d0a18 | |
|
|
ffae51da85 | |
|
|
c06e7fa12b | |
|
|
c329d96b56 | |
|
|
ac2c4d9eb1 | |
|
|
db044853c5 | |
|
|
69def4e063 | |
|
|
6fe514c7b7 | |
|
|
f533b2d736 | |
|
|
46c939acc0 | |
|
|
8628b5b38c | |
|
|
72bebcf3d4 | |
|
|
73fde4ea0f | |
|
|
56971980e0 | |
|
|
374871a838 | |
|
|
bf17669650 | |
|
|
4ad16ac26c | |
|
|
fc7db438e0 | |
|
|
c0751f642c | |
|
|
911d79c1ac | |
|
|
af2909cf63 |
|
|
@ -0,0 +1,329 @@
|
|||
# 常见问题 FAQ
|
||||
|
||||
> 最后整理:2026-07-13
|
||||
|
||||
本文档汇总沐曦“揭榜挂帅”两项赛题的常见问题。使用 `Ctrl+F`(Windows/Linux)或 `⌘F`(macOS)搜索关键词。
|
||||
|
||||
环境版本、评测配置、时间安排可能调整。请以仓库 README、XPU-OJ 公告、比赛群通知和容器中的实际版本为准。发现内容过期或未覆盖的问题,请[提交 Issue](https://gitlink.org.cn/metax-maca/op_optimization/issues)。
|
||||
|
||||
## 快速导航
|
||||
|
||||
- [重要入口与咨询方式](#entry):XPU-OJ 开放情况、问题反馈渠道和赛事联系人。
|
||||
- [XPU-OJ、提交与排行榜](#xpuoj):账号申请、提交环境、测试样例、评测硬件和排名指标。
|
||||
- [赛题一:TileLang 与 Fused MoE](#track-one):提交限制、算子实现、Baseline、性能优化和决赛加分规则。
|
||||
- [赛题二:AI Agent 与推理算子库](#track-two):任务范围、Agent 参与证明、Baseline、测试参数和上游代码引用。
|
||||
- [评测规则与通用技术问题](#evaluation):技术资料发布、正确性与稳定性要求,以及 FAQ 内容纠错。
|
||||
- [环境、镜像与算力资源](#environment):比赛镜像、MACA 与 PyTorch 版本、开发工具、算力券和资源申请。
|
||||
- [报名、组队与资格审核](#registration):参赛资格、跨校组队、指导教师、材料盖章和审核流程。
|
||||
|
||||
<a id="entry"></a>
|
||||
|
||||
## 重要入口与咨询方式
|
||||
|
||||
<a id="q-xpuoj-open"></a>
|
||||
|
||||
### ❓ 问题 1:XPU-OJ 平台是否已经上线?
|
||||
|
||||
**回答:** XPU-OJ 已开放。账号申领流程和使用指南见[赛事 XPU-OJ 账号申领说明](赛事XPUOJ账号申领说明.md)。
|
||||
|
||||
<a id="q-contact"></a>
|
||||
|
||||
### ❓ 问题 2:两个赛题的联系人不同,遇到问题应该联系谁?
|
||||
|
||||
**回答:** 请先通过 [GitLink Issue](https://gitlink.org.cn/metax-maca/op_optimization/issues) 提问,维护者会把可复用的答案更新到本文档。比赛群用于接收赛事通知和临时信息。需要单独沟通时,请按对应比赛方案联系章老师或杨老师。
|
||||
|
||||
## XPU-OJ、提交与排行榜
|
||||
|
||||
<a id="q-moe-score-decrease"></a>
|
||||
|
||||
### ❓ 问题 1:XPUOJ测评 MoE 耗时减少了但是分数反而降低了
|
||||
|
||||
**回答:**
|
||||
|
||||
针对近期部分同学反馈的“XPU.OJ”第三方评测系统中基线(baseline)不稳定的问题,我们高度重视,并已第一时间组织排查与测试。在此,我们对因此给大家带来的困扰深表歉意,也衷心感谢各位同学提出的宝贵意见。
|
||||
目前,相关问题已修复完毕。为确保评测的公平性与准确性,我们将对现有榜单进行清空处理。历史提交记录仍可查看,但后续排名将统一以基线修复后重新提交的算子成绩为准。
|
||||
|
||||
比赛期间,我们将持续关注系统运行状态,也欢迎大家继续向我们反馈建议。
|
||||
祝大家比赛顺利,取得理想成绩!
|
||||
|
||||
<a id="q-xpuoj-environment"></a>
|
||||
|
||||
### ❓ 问题 2:XPU-OJ 与模力方舟的运行环境一致吗?
|
||||
|
||||
**回答:** 排行榜评测环境与模力方舟开发环境保持一致。版本调整时以 XPU-OJ 公告为准。
|
||||
|
||||
<a id="q-xpuoj-account"></a>
|
||||
|
||||
### ❓ 问题 3:如何申请 XPU-OJ 账号?
|
||||
|
||||
**回答:** 请按照[赛事 XPU-OJ 账号申领说明](赛事XPUOJ账号申领说明.md)提交申请。账号发放进度以赛事通知和回复邮件为准。
|
||||
|
||||
<a id="q-official-ranking"></a>
|
||||
|
||||
### ❓ 问题 4:赛题一 MoE 初赛排名以哪个入口为准?
|
||||
|
||||
**回答:** 正式排名和初筛结果以 XPU-OJ 的评测结果为准。Sample benchmark 用于本地功能验证、调试和性能对比,不作为正式榜单依据。
|
||||
|
||||
<a id="q-test-cases"></a>
|
||||
|
||||
### ❓ 问题 5:MACA C++、Triton 和 TileLang 是否分别设榜?
|
||||
|
||||
**回答:** 不按语言分别设榜。每个任务支持 MACA C++、Triton 和 TileLang,团队可以使用一种或多种语言提交。排行榜采用通过正确性和稳定性测试后的最高成绩。
|
||||
|
||||
<a id="q-ranking-metric"></a>
|
||||
|
||||
### ❓ 问题 6:排行榜使用 latency、speedup 还是综合 score?
|
||||
|
||||
**回答:** 当前 XPU-OJ 以 speedup 作为核心排名指标。赛事方调整计算方式时,以 XPU-OJ 公告为准。
|
||||
|
||||
<a id="track-one"></a>
|
||||
|
||||
## 赛题一:TileLang 与 Fused MoE
|
||||
|
||||
<a id="q-track-one-submission"></a>
|
||||
|
||||
### ❓ 问题 1:赛题一的提交要求有哪些调整?
|
||||
|
||||
**回答:** 正式提交禁止使用 `MACA Maca running` 方式,也不能使用 PyTorch 实现算子。参赛者需使用 TileLang 实现并提交。
|
||||
|
||||
<a id="q-ops-reference"></a>
|
||||
|
||||
### ❓ 问题 2:OPS 目录中的 TileLang、CUDA、CUTLASS 和 MACA 代码有什么用途?
|
||||
|
||||
**回答:** 这些代码用于解释算子的实现原理和设计思路,可作为 TileLang 实现的参考。
|
||||
|
||||
<a id="q-baseline-modification"></a>
|
||||
|
||||
### ❓ 问题 3:官方 Baseline 可以修改到什么范围?
|
||||
|
||||
**回答:** 参赛者可以重新设计和优化算子实现,但需保持与统一 Workload 测试框架的接口兼容。
|
||||
|
||||
<a id="q-gemm-optimization"></a>
|
||||
|
||||
### ❓ 问题 4:GEMM 计算中可以引入其他优化策略吗?
|
||||
|
||||
**回答:** 可以,前提是实现符合赛题规则和评测要求。
|
||||
|
||||
<a id="q-benchmark-modification"></a>
|
||||
|
||||
### ❓ 问题 5:可以优化 `fusedmoe_benchmark` 吗?
|
||||
|
||||
**回答:** 本地修改 benchmark 不会提高正式成绩,XPU-OJ 使用赛事方的评测框架。参赛者应把优化工作放在规定的算子实现和允许修改的接口上。
|
||||
|
||||
<a id="q-forward-modification"></a>
|
||||
|
||||
### ❓ 问题 6:可以修改 `fusedmoe_benchmark.py` 中的 MoE forward 吗?
|
||||
|
||||
**回答:** 正式成绩以 XPU-OJ 的独立评测为准。本地修改 forward 不能替代对提交算子的优化,也不会改变赛事方的评测代码。
|
||||
|
||||
<a id="q-async-copy"></a>
|
||||
|
||||
### ❓ 问题 7:赛题一允许使用异步拷贝吗?
|
||||
|
||||
**回答:** 不允许。当前比赛规则禁用异步拷贝。
|
||||
|
||||
<a id="q-baseline-performance"></a>
|
||||
|
||||
### ❓ 问题 8:Fused MoE 初赛成绩如何影响决赛?
|
||||
|
||||
**回答:** 当前规则只给初赛前 10 名决赛加分,第 11 名及之后不获得额外初赛加分。
|
||||
|
||||
<a id="track-two"></a>
|
||||
|
||||
## 赛题二:AI Agent 与推理算子库
|
||||
|
||||
<a id="q-track-two-update"></a>
|
||||
|
||||
### ❓ 问题 1:赛题二的内容有什么调整?
|
||||
|
||||
**回答:** “Agent 推理算子库优化 - FlashAttention KV Cache Decode”新增 `mctlass/cute` 要求。参赛者需基于 `mctlass/cute` 实现或优化对应任务。
|
||||
|
||||
<a id="q-track-two-selection"></a>
|
||||
|
||||
### ❓ 问题 2:赛题二可以选择几个任务?
|
||||
|
||||
**回答:** 参赛团队可以从 FlashInfer、FlashAttention、MCTLASS/Fused MoE 等方向选择一项或多项。提交多个任务时,每个任务按赛事规则取有效最高成绩。支持语言包括 Triton、MXMACA C++ 和 TileLang。
|
||||
|
||||
<a id="q-agent-proof"></a>
|
||||
|
||||
### ❓ 问题 3:如何证明 AI Agent 参与了优化过程?
|
||||
|
||||
**回答:** 参赛团队应保留 Agent 配置、Skill 文件、关键提示词、操作日志、代码变更记录、测试结果和复现实验步骤,等待赛事方发布核验细则。
|
||||
|
||||
<a id="q-agent-baseline"></a>
|
||||
|
||||
### ❓ 问题 4:Agent 赛题的性能 baseline 使用哪个版本?
|
||||
|
||||
**回答:** 当前评测使用赛事方提供的 baseline,标准环境为 `PyTorch-Agent / 2.8.0 / Python 3.12 / MACA 3.7.1.5`。赛事方变更 baseline 或评测方式时会发布通知。
|
||||
|
||||
<a id="q-mla-dimensions"></a>
|
||||
|
||||
### ❓ 问题 5:MLA 的 `QK dim = 576, VO dim = 512` 与 `race_tests` 参数冲突吗?
|
||||
|
||||
**回答:** 不冲突。`race_tests` 中的 `dim=512, pe_dim=64` 对应 `QK dim = 576, V dim = 512`。
|
||||
|
||||
<a id="q-nsa-ranking"></a>
|
||||
|
||||
### ❓ 问题 6:NSA 的 109 个测试 case 如何计算榜单成绩?
|
||||
|
||||
**回答:** XPU-OJ 通过统一接口统计测试总运行时间,再根据 baseline 计算整体 speedup。
|
||||
|
||||
<a id="q-upstream-code"></a>
|
||||
|
||||
### ❓ 问题 7:可以引用或修改 FlashInfer、FlashAttention 等上游代码吗?
|
||||
|
||||
**回答:** 可以。参赛团队需遵守上游项目许可证,保留版权和许可证声明,并在提交材料中说明引用范围、迁移工作和自主优化内容。
|
||||
|
||||
<a id="evaluation"></a>
|
||||
|
||||
## 环境、镜像与算力资源
|
||||
|
||||
<a id="q-environment-image"></a>
|
||||
|
||||
### ❓ 问题 1:比赛使用哪个在线算力环境?
|
||||
|
||||
**回答:** 比赛使用模力方舟沐曦算力专区。仓库 README 当前标注的统一镜像为:
|
||||
|
||||
```text
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / MACA 3.7.1.5
|
||||
```
|
||||
|
||||
创建实例和连接环境的步骤见[模力方舟快速使用 SOP](模力方舟快速使用SOP.md)。
|
||||
|
||||
<a id="q-download-maca"></a>
|
||||
|
||||
### ❓ 问题 2:如何获取 MACA 镜像或安装包?
|
||||
|
||||
**回答:** 参赛者可以在[模力方舟沐曦算力专区](https://ai.gitee.com/compute/metax)选择 `PyTorch-Agent` 镜像。需要单独获取软件包时,请前往[沐曦开发者社区软件中心](https://developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=AI&dimension=docker),并选择与比赛标准环境一致的 MACA `3.7.1.5` 版本。
|
||||
|
||||
<a id="q-download-pytorch"></a>
|
||||
|
||||
### ❓ 问题 3:比赛使用的 PyTorch 镜像可以下载吗?
|
||||
|
||||
**回答:** 可以。请在[沐曦开发者社区](https://developer.metax-tech.com/)或其 [PyTorch 镜像列表](https://developer.metax-tech.com/softnova/docker?chip_name=%E6%9B%A6%E4%BA%91C500%E7%B3%BB%E5%88%97&package_kind=AI&dimension=docker&deliver_type=%E5%88%86%E5%B1%82%E5%8C%85&ai_frame=pytorch)中查询。下载前请核对比赛镜像的 Python、PyTorch 和 MACA 版本。
|
||||
|
||||
<a id="q-version-mismatch"></a>
|
||||
|
||||
### ❓ 问题 4:页面标注的 MACA 版本与容器内版本不一致怎么办?
|
||||
|
||||
**回答:** 比赛标准版本为 MACA `3.7.1.5`。
|
||||
|
||||
<a id="q-pytorch-source"></a>
|
||||
|
||||
### ❓ 问题 5:Linux 版本的 mcprofiler 是否可用?
|
||||
|
||||
**回答:** mcprofiler 的 Linux 版本已经打包进模力方舟上的 pytorch-agent 比赛镜像。
|
||||
|
||||
<a id="q-compute-coupons"></a>
|
||||
|
||||
### ❓ 问题 6:算力券按团队还是按个人领取?
|
||||
|
||||
**回答:** 新人礼和启悟社区算力券按学生个人发放,符合条件的团队成员均可领取。团队主申请人的额度用完后,其他成员可以继续申请资源。
|
||||
|
||||
- [沐曦开发者社区新人礼](https://developer.metax-tech.com/activities/6)
|
||||
- [启悟社区学生算力券](https://developer.metax-tech.com/activities/11)
|
||||
- [赛事算力券活动](https://developer.metax-tech.com/activities/17)
|
||||
|
||||
<a id="q-more-compute"></a>
|
||||
|
||||
### ❓ 问题 7:算力额度不足时可以追加申请吗?
|
||||
|
||||
**回答:** 可以先领取上述活动中的算力券。仍需额外资源时,请发送需求邮件至 `opensource@metax-tech.com`。
|
||||
|
||||
<a id="q-commercial-agent-cost"></a>
|
||||
|
||||
<a id="registration"></a>
|
||||
|
||||
## 报名、组队与资格审核
|
||||
|
||||
<a id="q-register-both"></a>
|
||||
|
||||
### ❓ 问题 1:同一团队或个人可以同时参加两个赛题吗?
|
||||
|
||||
**回答:** 可以。同一团队或个人可以同时报名两个赛题。
|
||||
|
||||
<a id="q-register-multiple-tracks"></a>
|
||||
|
||||
### ❓ 问题 2:同一名学生可以报名不同赛道的不同赛题吗?
|
||||
|
||||
**回答:** 可以。赛事不统一限制学生报名不同赛道或不同赛题,但同一作品不得用相同核心技术内容重复申报不同赛题。
|
||||
|
||||
<a id="q-new-graduate"></a>
|
||||
|
||||
### ❓ 问题 3:本科应届毕业、尚未正式入学的研一新生可以报名吗?
|
||||
|
||||
**回答:** 可以。参赛者可联系原本科学校完成认证手续,并以本科生身份报名。
|
||||
|
||||
<a id="q-advisor-required"></a>
|
||||
|
||||
### ❓ 问题 4:参赛必须配备指导教师吗?
|
||||
|
||||
**回答:** 不强制。填写指导教师时,每支队伍可以设置 1 至 3 名指导教师。
|
||||
|
||||
<a id="q-advisor-team-limit"></a>
|
||||
|
||||
### ❓ 问题 5:一名指导教师最多可以指导几支队伍?
|
||||
|
||||
**回答:** 赛事暂未设置统一的硬性上限。指导教师应根据可投入的时间控制队伍数量。
|
||||
|
||||
<a id="q-cross-school-stamp"></a>
|
||||
|
||||
### ❓ 问题 6:跨校组队时,报名表应该由哪所学校盖章?
|
||||
|
||||
**回答:** 资格审批阶段,每名参赛者需到本人学校的校团委或院团委完成盖章确认。后续材料由团队牵头学生统一整理和提交。
|
||||
|
||||
<a id="q-upload-stamped-form"></a>
|
||||
|
||||
### ❓ 问题 7:提交报名后还可以补充已盖章的报名表扫描件吗?
|
||||
|
||||
**回答:** 审核人员发现材料缺少盖章时,会退回申请。团队补齐材料后可以重新提交。尚未完成盖章的团队应先与学院、校团委或学校相关部门确认办理方式。
|
||||
|
||||
<a id="q-stamp-department"></a>
|
||||
|
||||
### ❓ 问题 8:资格审查材料应该加盖哪个部门的公章?
|
||||
|
||||
**回答:** 各高校的管理口径不同。教务处、学生处等学籍或学生管理部门通常可以办理,参赛团队应以本校校团委或相关管理部门的要求为准。
|
||||
|
||||
<a id="q-no-youth-league"></a>
|
||||
|
||||
### ❓ 问题 9:学校未设校团委,可以用院系公章替代吗?
|
||||
|
||||
**回答:** 赛事原则上要求校级部门公章。学校未设校团委时,可以联系校级学工、双创或教务部门盖章,并提交情况说明。院系公章不能直接替代校级部门公章。
|
||||
|
||||
<a id="q-student-status-proof"></a>
|
||||
|
||||
### ❓ 问题 10:学校无法配合盖章,可以用学籍证明替代吗?
|
||||
|
||||
**回答:** 不可以。参赛团队应使用报名系统导出的报名表,并按要求完成学校盖章。
|
||||
|
||||
<a id="q-public-notice"></a>
|
||||
|
||||
### ❓ 问题 11:公示材料需要包含哪些内容?
|
||||
|
||||
**回答:** 请参考赛事工作群发布的参考文本,并按学校要求调整。跨校团队涉及的学校应分别在学校官网公示,公示渠道原则上使用学校官网。
|
||||
|
||||
<a id="q-review-deadline"></a>
|
||||
|
||||
### ❓ 问题 12:报名审核需要在报名截止日前完成吗?
|
||||
|
||||
**回答:** 原则上需要。往届出现过系统延后关闭的情况,但本届参赛团队不应据此推迟材料提交或审核。
|
||||
|
||||
<a id="q-review-flow"></a>
|
||||
|
||||
### ❓ 问题 13:报名材料的审核顺序是什么?
|
||||
|
||||
**回答:** 学生提交材料后,学校校团委先审核;学校审核通过后,企业再审核。企业审核通过即视为报名成功。
|
||||
|
||||
<a id="q-school-review-account"></a>
|
||||
|
||||
### ❓ 问题 14:后台显示“校团委审核”,但学校不了解审核事项,怎么办?
|
||||
|
||||
**回答:** 校团委需在报名系统内完成审核。省级团委通常会向各高校团委发放账号和密码。学校未收到或不了解安排时,请学校联系省级团委确认。
|
||||
|
||||
## FAQ 维护约定
|
||||
|
||||
1. 参赛者通过 Issue 提交问题。
|
||||
2. 维护者确认答案后更新本文档。
|
||||
3. 每个答案保留稳定锚点;需要时附上来源 Issue 或公告。
|
||||
4. 维护者在原 Issue 中回复 FAQ 锚点链接,并关闭已经解决的问题。
|
||||
5. 涉及版本、日期、评测参数的答案应标注确认日期。
|
||||
21
README.md
21
README.md
|
|
@ -1,5 +1,22 @@
|
|||
# 降低Token 成本,攻坚国产推理生态|沐曦两大赛题登陆 2026 揭榜挂帅擂台赛,邀青年共破局!
|
||||
|
||||
## 常用入口
|
||||
|
||||
- [常见问题 FAQ](FAQ.md)
|
||||
- [沐曦通用GPU MXMACA编译器内建函数编程指南](https://developer.metax-tech.com/api/client/document/preview/1395/index.html)
|
||||
|
||||
## XPU-OJ 基线修复及榜单调整通知
|
||||
|
||||
针对近期部分同学反馈的“XPU.OJ”第三方评测系统中基线(baseline)不稳定的问题,我们高度重视,并已第一时间组织排查与测试。在此,我们对因此给大家带来的困扰深表歉意,也衷心感谢各位同学提出的宝贵意见。
|
||||
目前,相关问题已修复完毕。为确保评测的公平性与准确性,我们将对现有榜单进行清空处理。历史提交记录仍可查看,但后续排名将统一以基线修复后重新提交的算子成绩为准。
|
||||
|
||||
比赛期间,我们将持续关注系统运行状态,也欢迎大家继续向我们反馈建议。
|
||||
祝大家比赛顺利,取得理想成绩!
|
||||
|
||||
- XPU-OJ 地址:[https://xpuoj.com/](https://xpuoj.com/)
|
||||
- 账号申领说明:[赛事 XPU-OJ 账号申领说明](赛事XPUOJ账号申领说明.md)
|
||||
- 账号申领邮箱:`opensource@metax-tech.com`
|
||||
|
||||
2026 年度中国青年科技创新「揭榜挂帅」擂台赛正式启幕。沐曦股份重磅发布两大 AI 算力硬核榜题,聚焦国产 GPU 大模型推理算子优化,以硬核赛事搭建科研攻关平台,邀全国青年学子、科研人才揭榜攻坚,用技术重构推理效率,用创新拉低每 Token 算力成本!
|
||||
|
||||
## 两大重磅赛题 直击推理成本核心痛点
|
||||
|
|
@ -29,7 +46,7 @@
|
|||
|
||||
### 赛题二:基于 AI Agent 开发范式的国产 GPU 大模型推理算子库优化
|
||||
|
||||
大模型推理具有高并发、长序列、高调用频次等特点,FlashInfer、FlashAttention、Fused MoE 等核心算子直接决定模型服务的吞吐、延迟与显存开销,影响单 Token 综合推理成本。
|
||||
大模型推理具有高并发、长序列、高<EFBFBD><EFBFBD><EFBFBD>用频次等特点,FlashInfer、FlashAttention、Fused MoE 等核心算子直接决定模型服务的吞吐、延迟与显存开销,影响单 Token 综合推理成本。
|
||||
|
||||
本赛题面向沐曦国产 GPU 及 MXMACA 软件栈,鼓励参赛团队构建或使用 AI Agent / Skill 工作流,围绕推理算子库开展代码理解、算子迁移、性能分析、Kernel 优化、自动调优、Benchmark 验证和多轮迭代,探索“Agent 驱动算子优化”的新型开发范式。
|
||||
|
||||
|
|
@ -50,7 +67,7 @@
|
|||
- [模力方舟 Agent 部署准备教程](基于AI%20Agent开发范式的国产GPU大模型推理算子库优化/模力方舟Agent部署准备教程.md)
|
||||
- [赛题二说明及资料参考](基于AI%20Agent开发范式的国产GPU大模型推理算子库优化/赛题说明.md)
|
||||
|
||||
### **两个赛题统一使用模力方舟上的镜像PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1**
|
||||
### **两个赛题统一使用模力方舟上的镜像PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5**
|
||||
|
||||
## 参赛对象
|
||||
|
||||
|
|
|
|||
|
|
@ -1,8 +1,8 @@
|
|||
# Flashattention 迁移 Benchmark 实战:从性能基线到 XPU-OJ 评测
|
||||
# Agent推理算子库优化-FlashAttention KV Cache Decode Benchmark 实战:从性能基线到 XPU-OJ 评测
|
||||
|
||||
## 1. 教程定位
|
||||
|
||||
本教程是参赛训练课程的 **FlashAttention Benchmark 入门与评测提交衔接** 模块,主要帮助用户跑通 FlashAttention paged KV-cache 推理核函数 `flash_attn_with_kvcache` 的基准测试流程,理解 benchmark 脚本的输入输出、性能指标和评测含义,并基于 XPU-OJ 题包完成一个最小正确版 `run_kernel` 的实现与提交。
|
||||
本教程面向 **沐曦-揭榜挂帅-Agent推理算子库优化-FlashAttention任务**,是围绕题目 **Agent推理算子库优化-FlashAttention KV Cache Decode** 的 **FlashAttention Benchmark 入门与评测提交衔接** 模块,主要帮助用户跑通 FlashAttention paged KV-cache 推理核函数 `flash_attn_with_kvcache` 的基准测试流程,理解 benchmark 脚本的输入输出、性能指标和评测含义,并基于 XPU-OJ 题包完成一个最小正确版 `run_kernel` 的实现与提交。
|
||||
|
||||
需要特别说明:本教程中的 benchmark 脚本主要用于帮助参赛者理解目标算子的调用方式、输入输出结构和性能基线,benchmark 脚本不是最终提交物。最终评测以 XPU-OJ 题包为准,参赛者需要根据题包中的接口约定实现自己的 `run_kernel`,并在输出结果对齐 OJ 参考结果的前提下提升性能。
|
||||
|
||||
|
|
@ -30,7 +30,7 @@
|
|||
|
||||
本模块适合以下人员:
|
||||
|
||||
* 参与 AI 基础设施竞赛的参赛者
|
||||
* 参与 **沐曦-揭榜挂帅-Agent推理算子库优化-FlashAttention任务** 的参赛者
|
||||
* 对 GPU 算子性能优化感兴趣的开发者
|
||||
* 需要了解 FlashAttention KV-Cache 推理性能的研究人员
|
||||
|
||||
|
|
@ -54,10 +54,10 @@
|
|||
**创建并启动实例**
|
||||
|
||||
1. 进入算力市场,筛选“沐曦”芯片厂商,选择合适的 GPU 规格,推荐曦云 C500 节点。
|
||||
2. 关键配置:在预装镜像处,务必选择专属开发镜像 PyTorch Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1。
|
||||
2. 关键配置:在预装镜像处,务必选择专属开发镜像 PyTorch Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5。
|
||||
3. 创建完成后,进入算力容器,点击“工具-lab”即可打开 JupyterLab 终端开始项目创作。
|
||||
|
||||

|
||||

|
||||
|
||||
**说明:** 由于本次使用的是预装的专属镜像,环境中已经默认安装并配置好了 PyTorch、FlashAttention、einops 等依赖包。因此在启动实例后,无需再进行繁琐的依赖库版本验证即可直接进入测试环节。
|
||||
|
||||
|
|
@ -200,7 +200,7 @@ ls
|
|||
**预期结果:**
|
||||
|
||||
```text
|
||||
benchmark结果实例 benchmark_kvcache.py
|
||||
benchmark_kvcache.py
|
||||
```
|
||||
|
||||
### Step 4:配置基准测试参数
|
||||
|
|
@ -371,7 +371,7 @@ Benchmark 脚本用于理解目标算子的调用方式、输入输出 shape 和
|
|||
跑完 benchmark、建立性能基线后,选手需要完成以下转换:
|
||||
|
||||
1. 从 benchmark 脚本中理解目标 API,本任务对应 `flash_attn.flash_attn_interface` 中的 `flash_attn_with_kvcache`,使用 paged KV cache 布局。
|
||||
2. 在 XPU-OJ 平台上查看 `FlashAttention KV Cache Decode` 题目的接口约定。
|
||||
2. 在 XPU-OJ 平台上查看 **Agent推理算子库优化-FlashAttention KV Cache Decode** 题目的接口约定。
|
||||
3. 对照题包中的输入 shape、数据范围和精度要求。
|
||||
4. 编写自己的 `run_kernel(...)`。
|
||||
5. 提交 OJ,先通过正确性。
|
||||
|
|
@ -379,20 +379,20 @@ Benchmark 脚本用于理解目标算子的调用方式、输入输出 shape 和
|
|||
|
||||
### Step 9:题目说明与提交入口
|
||||
|
||||
注意:每个子题的接口参数、数据范围和精度要求可能不同,正式要求以对应 XPU-OJ 题目界面为准。本节以 **FlashAttention KV Cache Decode** 为例,演示从 benchmark 到 XPU-OJ 提交的完整流程。
|
||||
本教程只覆盖 **Agent推理算子库优化-FlashAttention KV Cache Decode** 这一题。正式接口、数据范围和精度要求以 XPU-OJ 题目界面为准。本节演示从 benchmark 到 XPU-OJ 提交的完整流程。
|
||||
|
||||
* **算子说明**:实现 paged KV cache 下的 decode 注意力,每个 batch 只有 1 个 query token,KV cache 按 page 存储,长度由 `seqlen_k` 决定。
|
||||
* **对应 OJ 题目**:XPU-OJ 上 `FlashAttention KV Cache Decode` 题(题号 20005)。
|
||||
* **对应 OJ 题目**:XPU-OJ 上 **Agent推理算子库优化-FlashAttention KV Cache Decode** 题。
|
||||
|
||||
使用组委会统一发放的账号登录 XPU-OJ,并进入对应赛题页面。
|
||||
使用组委会统一发放的账号登录 XPU-OJ,并进入对应比赛页面和题目页面。
|
||||
|
||||
1. 打开 XPU-OJ 平台:https://xpuoj.com/
|
||||
2. 使用组委会统一发放的账号和初始密码登录。
|
||||
3. 登录后进入比赛 / 题目列表页面。
|
||||
4. 找到对应题目,例如 `20005 FlashAttention KV Cache Decode`。
|
||||
3. 登录后进入比赛 / 题目列表页面,找到比赛 **沐曦-揭榜挂帅-Agent推理算子库优化-FlashAttention任务**。
|
||||
4. 找到对应题目 **Agent推理算子库优化-FlashAttention KV Cache Decode**。
|
||||
5. 点击进入题目详情页,查看题目描述、接口约定、数据范围和提交入口。
|
||||
|
||||

|
||||

|
||||
|
||||
### Step 10:理解 CUDA Maca 接口约定与精度要求
|
||||
|
||||
|
|
@ -468,7 +468,7 @@ PAGE_BLOCK_SIZE = 16
|
|||
CAUSAL = 0
|
||||
```
|
||||
|
||||
当前 `FlashAttention KV Cache Decode` 题的校验方式为:
|
||||
当前 **Agent推理算子库优化-FlashAttention KV Cache Decode** 题的校验方式为:
|
||||
|
||||
```python
|
||||
torch.allclose(output_t.float(), output_ref.float(), rtol=1e-2, atol=1e-2)
|
||||
|
|
@ -505,14 +505,14 @@ OJ 对每次提交大致会走以下流程:
|
|||
7. 正确性通过后,统计运行耗时或性能指标
|
||||
8. 根据题目评分规则换算该题得分
|
||||
9. 更新该题历史最好成绩
|
||||
10. 汇总各题最好成绩,得到排行榜总分
|
||||
10. 在榜单中展示本题得分和排名
|
||||
```
|
||||
|
||||
### Step 12:分析评测结果与评分机制
|
||||
|
||||
**目标:** 理解 OJ 评测结果的含义,分析性能表现。
|
||||
|
||||
在 XPU-OJ 平台上查看提交结果。提交详情会显示状态、总得分、时间、内存、编译信息以及各测试点结果。
|
||||
在 XPU-OJ 平台上查看提交结果。提交详情会显示状态、本题得分、时间、内存、编译信息以及各测试点结果。
|
||||
|
||||

|
||||
|
||||
|
|
@ -555,15 +555,22 @@ OJ 对每次提交大致会走以下流程:
|
|||
|
||||
OJ 平台对单测试点的评分遵循以下公式:
|
||||
|
||||
$$
|
||||
```math
|
||||
S(T_k) = \frac{100}{1 + \left(\frac{1}{0.5} - 1\right) \cdot \frac{T_k - T_h}{T_b - T_h}}
|
||||
$$
|
||||
```
|
||||
|
||||
其中:
|
||||
|
||||
* $T_k$:你的 kernel 平均执行时间
|
||||
* $T_b$:Baseline 参考实现平均执行时间,对应 50 分
|
||||
* $T_h$:硬件理论下限耗时,$T_h = \max\left(\frac{\text{FLOPs}}{\text{peak\_tflops}},\ \frac{\text{bytes}}{\text{peak\_bw}}\right)$,对应 100 分
|
||||
* $T_h$:硬件理论下限耗时,对应 100 分,计算方式为:
|
||||
|
||||
```math
|
||||
T_h = \max\left(
|
||||
\frac{\mathrm{FLOPs}}{\mathrm{peak\_tflops}},
|
||||
\frac{\mathrm{bytes}}{\mathrm{peak\_bw}}
|
||||
\right)
|
||||
```
|
||||
|
||||
**关键分数节点:**
|
||||
|
||||
|
|
@ -576,23 +583,23 @@ $$
|
|||
|
||||
当单测试点得分超过 150 分时,平台会按对数压缩规则显示:
|
||||
|
||||
$$
|
||||
S_{\text{display}} = 150 + 10 \cdot \log_{10}(S/150)
|
||||
$$
|
||||
```math
|
||||
S_{\mathrm{display}} = 150 + 10 \cdot \log_{10}\left(\frac{S}{150}\right)
|
||||
```
|
||||
|
||||
总得分为各测试点得分的算术平均,总耗时为各测试点 $T_k$ 的求和。
|
||||
本题得分为各测试点得分的算术平均,本题总耗时为各测试点 $T_k$ 的求和。
|
||||
|
||||
### Step 13:榜单查看与初步优化方向
|
||||
|
||||
在榜单页面,可以查看所有参赛者的排名情况:
|
||||
|
||||

|
||||

|
||||
|
||||

|
||||

|
||||
|
||||
* **总得分:** 各题目得分的总和,排名按总得分从高到低排序。
|
||||
* **个人排名:** 页面顶部会显示“我的排名”和“我的总分”,方便快速了解自己的位置。
|
||||
* **各题目得分:** 表格中每列对应一个题目的得分,帮助分析不同算子优化任务上的表现。
|
||||
* **本题得分:** 展示该题的历史最好成绩,排名按本题得分从高到低排序。
|
||||
* **个人排名:** 页面顶部会显示你的当前排名和当前得分,方便快速了解自己的位置。
|
||||
* **提交次数:** 分数下方括号中的数字表示该账号在本题下的提交次数。
|
||||
|
||||
初步优化方向包括:
|
||||
|
||||
|
|
@ -637,7 +644,7 @@ opencode
|
|||
|
||||
| 任务阶段 | 参考 Prompt 模板 | 核心目的 |
|
||||
| --- | --- | --- |
|
||||
| 题包解析 | 请阅读题号 20005 的题目界面和 FlashAttention 任务包材料,总结 CUDA Maca `run_kernel` 函数签名、Paged KV Cache 寻址公式、精度校验方式和测试数据范围。 | 提取接口契约,明确参数 shape 和边界条件 |
|
||||
| 题包解析 | 请阅读 **Agent推理算子库优化-FlashAttention KV Cache Decode** 的题目界面和 FlashAttention 任务包材料,总结 CUDA Maca `run_kernel` 函数签名、Paged KV Cache 寻址公式、精度校验方式和测试数据范围。 | 提取接口契约,明确参数 shape 和边界条件 |
|
||||
| 生成冒烟代码 | 请生成一个最小可运行的 CUDA Maca `run_kernel` 实现,要求严格匹配 `extern "C"` 签名,支持 Paged KV Cache 的 `block_table` 寻址,支持 head 映射,优先保证正确性。 | 快速验证接口和环境 |
|
||||
| OJ 报错调试 | 我的代码提交后 `Wrong Answer`。这是我的代码和 SPJ Report。请检查 Paged KV 地址映射、bf16 到 float32 的计算转换、尾部 page 有效 token 判断是否正确。 | 结构化排查功能错误 |
|
||||
| 性能瓶颈分析 | 这是测试点的 SPJ Report。请分析 `User kernel` 与 `Hardware bound` 的差距,判断更接近 compute-bound 还是 memory-bound,并给出具体的 mctlass 或访存优化建议。 | 将 OJ 反馈转化为优化行动 |
|
||||
|
|
@ -645,7 +652,7 @@ opencode
|
|||
**题包解析 Prompt:**
|
||||
|
||||
```text
|
||||
请阅读 XPU-OJ 上题号 20005 FlashAttention KV Cache Decode 的题目说明,以及 flashattn_task_package 中与 benchmark / 提交相关的材料。
|
||||
请阅读 XPU-OJ 上 **Agent推理算子库优化-FlashAttention KV Cache Decode** 的题目说明,以及 flashattn_task_package 中与 benchmark / 提交相关的材料。
|
||||
|
||||
请输出以下内容:
|
||||
1. CUDA Maca 版本 run_kernel 的完整函数签名;
|
||||
|
|
@ -686,7 +693,7 @@ opencode
|
|||
**Wrong Answer 调试 Prompt:**
|
||||
|
||||
```text
|
||||
我的 FlashAttention KV Cache Decode 代码提交后出现 Wrong Answer。
|
||||
我的 Agent推理算子库优化-FlashAttention KV Cache Decode 代码提交后出现 Wrong Answer。
|
||||
|
||||
这是我的代码:
|
||||
[粘贴代码]
|
||||
|
|
@ -708,7 +715,7 @@ opencode
|
|||
**性能瓶颈分析 Prompt:**
|
||||
|
||||
```text
|
||||
这是 FlashAttention KV Cache Decode 某个测试点的 SPJ Report:
|
||||
这是 Agent推理算子库优化-FlashAttention KV Cache Decode 某个测试点的 SPJ Report:
|
||||
[粘贴报告]
|
||||
|
||||
请分析:
|
||||
|
|
@ -770,11 +777,11 @@ opencode
|
|||
|
||||
### 10.4 结合 OJ Report 做定向优化
|
||||
|
||||
不要只看总分。单测试点的 `Config`、`User kernel`、`Hardware bound` 和 `Speedup vs base` 更适合指导下一轮优化方向。长序列、大 batch、小 batch 的瓶颈可能完全不同。
|
||||
不要只看本题最终得分。单测试点的 `Config`、`User kernel`、`Hardware bound` 和 `Speedup vs base` 更适合指导下一轮优化方向。长序列、大 batch、小 batch 的瓶颈可能完全不同。
|
||||
|
||||
### 10.5 扩展到其他赛题
|
||||
### 10.5 继续优化本题
|
||||
|
||||
完成 FlashAttention KV Cache Decode 后,可以继续尝试 XPU-OJ 上的其他算子优化题目,例如 FlashInfer MLA Paged Attention 或 FlashInfer Paged Prefill
|
||||
完成 Agent推理算子库优化-FlashAttention KV Cache Decode 的冒烟提交后,可以继续围绕不同 batch、KV 长度和 head dimension 配置做定向优化。
|
||||
|
||||
## 附录:完整代码参考
|
||||
|
||||
|
|
|
|||
File diff suppressed because it is too large
Load Diff
|
|
@ -1,457 +0,0 @@
|
|||
#include <stdint.h>
|
||||
|
||||
#include <cuda_bf16.h>
|
||||
|
||||
#include <cuda_runtime.h>
|
||||
|
||||
|
||||
|
||||
// xcore1000's CUDA-compatible compiler does not expose NVIDIA's __dp4a.
|
||||
|
||||
// This is a correctness-first replacement: each int32 stores four signed
|
||||
|
||||
// int8 values in little-endian byte order.
|
||||
|
||||
__device__ inline int32_t signed_byte(uint32_t x) {
|
||||
|
||||
x &= 0xffu;
|
||||
|
||||
return (int32_t)(x ^ 0x80u) - 128;
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
__device__ inline int32_t dp4a_compat(int32_t a, int32_t b, int32_t acc) {
|
||||
|
||||
uint32_t ua = (uint32_t)a;
|
||||
|
||||
uint32_t ub = (uint32_t)b;
|
||||
|
||||
acc += signed_byte(ua) * signed_byte(ub);
|
||||
|
||||
acc += signed_byte(ua >> 8) * signed_byte(ub >> 8);
|
||||
|
||||
acc += signed_byte(ua >> 16) * signed_byte(ub >> 16);
|
||||
|
||||
acc += signed_byte(ua >> 24) * signed_byte(ub >> 24);
|
||||
|
||||
return acc;
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
__global__ void w8a8_moe_gemm_kernel(
|
||||
|
||||
const int8_t* __restrict__ a,
|
||||
|
||||
const int8_t* __restrict__ b_col_major,
|
||||
|
||||
const float* __restrict__ scale_a,
|
||||
|
||||
const float* __restrict__ scale_b,
|
||||
|
||||
const float* __restrict__ moe_weights,
|
||||
|
||||
const int32_t* __restrict__ token_ids,
|
||||
|
||||
const int32_t* __restrict__ expert_ids,
|
||||
|
||||
int K, int N, int topk,
|
||||
|
||||
__nv_bfloat16* __restrict__ out)
|
||||
|
||||
{
|
||||
|
||||
int n_base = blockIdx.x * 128;
|
||||
|
||||
int m_base = blockIdx.y * 128;
|
||||
|
||||
int expert = expert_ids[blockIdx.y];
|
||||
|
||||
|
||||
|
||||
int tid = threadIdx.x;
|
||||
|
||||
int warp_id = tid / 32;
|
||||
|
||||
int lane_id = tid & 31;
|
||||
|
||||
|
||||
|
||||
int warp_y = warp_id / 2;
|
||||
|
||||
int warp_x = warp_id & 1;
|
||||
|
||||
int my = lane_id / 8;
|
||||
|
||||
int mx = lane_id & 7;
|
||||
|
||||
|
||||
|
||||
int m_idx[8];
|
||||
|
||||
int n_idx[8];
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int i = 0; i < 8; ++i) {
|
||||
|
||||
m_idx[i] = warp_y * 32 + my + i * 4;
|
||||
|
||||
}
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int j = 0; j < 8; ++j) {
|
||||
|
||||
n_idx[j] = warp_x * 64 + mx + j * 8;
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
__shared__ int32_t smem_A[2][128 * 17];
|
||||
|
||||
__shared__ int32_t smem_B[2][128 * 17];
|
||||
|
||||
|
||||
|
||||
int32_t accum[8][8] = {0};
|
||||
|
||||
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int step = 0; step < 2; ++step) {
|
||||
|
||||
int load_idx = step * 256 + tid;
|
||||
|
||||
int row = load_idx / 4;
|
||||
|
||||
int col_int4 = load_idx & 3;
|
||||
|
||||
|
||||
|
||||
int r = m_base + row;
|
||||
|
||||
int token = token_ids[r] / topk;
|
||||
|
||||
int64_t a_idx = (int64_t)token * K;
|
||||
|
||||
int4 va = ((const int4*)(a + a_idx))[col_int4];
|
||||
|
||||
|
||||
|
||||
int sa = row * 17 + col_int4 * 4;
|
||||
|
||||
smem_A[0][sa + 0] = va.x;
|
||||
|
||||
smem_A[0][sa + 1] = va.y;
|
||||
|
||||
smem_A[0][sa + 2] = va.z;
|
||||
|
||||
smem_A[0][sa + 3] = va.w;
|
||||
|
||||
|
||||
|
||||
int64_t b_idx = (int64_t)expert * N * K + (int64_t)(n_base + row) * K;
|
||||
|
||||
int4 vb = ((const int4*)(b_col_major + b_idx))[col_int4];
|
||||
|
||||
|
||||
|
||||
int sb = row * 17 + col_int4 * 4;
|
||||
|
||||
smem_B[0][sb + 0] = vb.x;
|
||||
|
||||
smem_B[0][sb + 1] = vb.y;
|
||||
|
||||
smem_B[0][sb + 2] = vb.z;
|
||||
|
||||
smem_B[0][sb + 3] = vb.w;
|
||||
|
||||
}
|
||||
|
||||
__syncthreads();
|
||||
|
||||
|
||||
|
||||
for (int k_outer = 0; k_outer < K; k_outer += 64) {
|
||||
|
||||
int comp_buf = (k_outer / 64) & 1;
|
||||
|
||||
int load_buf = 1 - comp_buf;
|
||||
|
||||
int next_k = k_outer + 64;
|
||||
|
||||
|
||||
|
||||
if (next_k < K) {
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int step = 0; step < 2; ++step) {
|
||||
|
||||
int load_idx = step * 256 + tid;
|
||||
|
||||
int row = load_idx / 4;
|
||||
|
||||
int col_int4 = load_idx & 3;
|
||||
|
||||
|
||||
|
||||
int r = m_base + row;
|
||||
|
||||
int token = token_ids[r] / topk;
|
||||
|
||||
int64_t a_idx = (int64_t)token * K + next_k;
|
||||
|
||||
int4 va = ((const int4*)(a + a_idx))[col_int4];
|
||||
|
||||
|
||||
|
||||
int sa = row * 17 + col_int4 * 4;
|
||||
|
||||
smem_A[load_buf][sa + 0] = va.x;
|
||||
|
||||
smem_A[load_buf][sa + 1] = va.y;
|
||||
|
||||
smem_A[load_buf][sa + 2] = va.z;
|
||||
|
||||
smem_A[load_buf][sa + 3] = va.w;
|
||||
|
||||
|
||||
|
||||
int64_t b_idx = (int64_t)expert * N * K +
|
||||
|
||||
(int64_t)(n_base + row) * K + next_k;
|
||||
|
||||
int4 vb = ((const int4*)(b_col_major + b_idx))[col_int4];
|
||||
|
||||
|
||||
|
||||
int sb = row * 17 + col_int4 * 4;
|
||||
|
||||
smem_B[load_buf][sb + 0] = vb.x;
|
||||
|
||||
smem_B[load_buf][sb + 1] = vb.y;
|
||||
|
||||
smem_B[load_buf][sb + 2] = vb.z;
|
||||
|
||||
smem_B[load_buf][sb + 3] = vb.w;
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int k_step = 0; k_step < 16; ++k_step) {
|
||||
|
||||
int32_t reg_A[8];
|
||||
|
||||
int32_t reg_B[8];
|
||||
|
||||
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int i = 0; i < 8; ++i) {
|
||||
|
||||
reg_A[i] = smem_A[comp_buf][m_idx[i] * 17 + k_step];
|
||||
|
||||
}
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int j = 0; j < 8; ++j) {
|
||||
|
||||
reg_B[j] = smem_B[comp_buf][n_idx[j] * 17 + k_step];
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int i = 0; i < 8; ++i) {
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int j = 0; j < 8; ++j) {
|
||||
|
||||
accum[i][j] = dp4a_compat(reg_A[i], reg_B[j], accum[i][j]);
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
__syncthreads();
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
float scale_row[8];
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int i = 0; i < 8; ++i) {
|
||||
|
||||
int r = m_base + m_idx[i];
|
||||
|
||||
int token = token_ids[r] / topk;
|
||||
|
||||
scale_row[i] = scale_a[token] * moe_weights[r];
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
float scale_col[8];
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int j = 0; j < 8; ++j) {
|
||||
|
||||
int n = n_base + n_idx[j];
|
||||
|
||||
scale_col[j] = scale_b[(int64_t)expert * N + n];
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int i = 0; i < 8; ++i) {
|
||||
|
||||
int r = m_base + m_idx[i];
|
||||
|
||||
#pragma unroll
|
||||
|
||||
for (int j = 0; j < 8; ++j) {
|
||||
|
||||
int n = n_base + n_idx[j];
|
||||
|
||||
float v = (float)accum[i][j] * scale_row[i] * scale_col[j];
|
||||
|
||||
out[(int64_t)r * N + n] = __float2bfloat16(v);
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
static size_t device_allocation_size(const void* p) {
|
||||
|
||||
mcDrvDeviceptr_t base = 0;
|
||||
|
||||
size_t size = 0;
|
||||
|
||||
(void)wcuMemGetAddressRange(&base, &size, (mcDrvDeviceptr_t)(uintptr_t)p);
|
||||
|
||||
return size;
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
extern "C" void run_kernel(
|
||||
|
||||
const int8_t* a,
|
||||
|
||||
const int8_t* b_col_major,
|
||||
|
||||
const float* scale_a,
|
||||
|
||||
const float* scale_b,
|
||||
|
||||
const float* moe_weights,
|
||||
|
||||
const int32_t* token_ids,
|
||||
|
||||
const int32_t* expert_ids,
|
||||
|
||||
int64_t topk,
|
||||
|
||||
__nv_bfloat16* out)
|
||||
|
||||
{
|
||||
|
||||
size_t b_size = device_allocation_size(b_col_major);
|
||||
|
||||
size_t out_size = device_allocation_size(out);
|
||||
|
||||
|
||||
|
||||
int N = 7168;
|
||||
|
||||
int K = 2048;
|
||||
|
||||
if (b_size > 5000000000ULL) {
|
||||
|
||||
N = 4096;
|
||||
|
||||
K = 7168;
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
int EM = 4096;
|
||||
|
||||
if (out_size > 128ULL * 1024ULL * 1024ULL) {
|
||||
|
||||
EM = 32768;
|
||||
|
||||
} else if (out_size == 0) {
|
||||
|
||||
// Last-resort fallback if allocation-size probing is unavailable.
|
||||
|
||||
int32_t host_tokens[4096];
|
||||
|
||||
cudaMemcpy(host_tokens, token_ids, sizeof(host_tokens), cudaMemcpyDeviceToHost);
|
||||
|
||||
int max_token_id = 0;
|
||||
|
||||
for (int i = 0; i < 4096; ++i) {
|
||||
|
||||
if (host_tokens[i] > max_token_id) {
|
||||
|
||||
max_token_id = host_tokens[i];
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
if (max_token_id >= 4096) {
|
||||
|
||||
EM = 32768;
|
||||
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
|
||||
|
||||
dim3 block(256);
|
||||
|
||||
dim3 grid(N / 128, EM / 128);
|
||||
|
||||
w8a8_moe_gemm_kernel<<<grid, block>>>(
|
||||
|
||||
a, b_col_major, scale_a, scale_b, moe_weights,
|
||||
|
||||
token_ids, expert_ids, K, N, (int)topk, out);
|
||||
|
||||
}
|
||||
|
|
@ -0,0 +1,209 @@
|
|||
#include <stdint.h>
|
||||
#include <stdio.h>
|
||||
|
||||
#include <cuda_bf16.h>
|
||||
#include <cuda_runtime.h>
|
||||
|
||||
struct KernelConfig {
|
||||
int em;
|
||||
int n;
|
||||
int k;
|
||||
};
|
||||
|
||||
static KernelConfig infer_config(
|
||||
const int8_t* a,
|
||||
const float* scale_b,
|
||||
const int32_t* expert_ids,
|
||||
const __nv_bfloat16* out
|
||||
) {
|
||||
// The C ABI passes raw pointers, so tensor shape metadata is unavailable.
|
||||
// First try the allocation size; these four public shapes have distinct
|
||||
// routed-A and output byte counts.
|
||||
mcDrvDeviceptr_t base = 0;
|
||||
size_t bytes = 0;
|
||||
if (wcuMemGetAddressRange(&base, &bytes, (mcDrvDeviceptr_t)a) == 0) {
|
||||
if (bytes == 29360128ULL) {
|
||||
return KernelConfig{4096, 4096, 7168};
|
||||
}
|
||||
if (bytes == 234881024ULL) {
|
||||
return KernelConfig{32768, 4096, 7168};
|
||||
}
|
||||
if (bytes == 8388608ULL) {
|
||||
return KernelConfig{4096, 7168, 2048};
|
||||
}
|
||||
if (bytes == 67108864ULL) {
|
||||
return KernelConfig{32768, 7168, 2048};
|
||||
}
|
||||
}
|
||||
if (wcuMemGetAddressRange(&base, &bytes, (mcDrvDeviceptr_t)out) == 0) {
|
||||
if (bytes == 33554432ULL) {
|
||||
return KernelConfig{4096, 4096, 7168};
|
||||
}
|
||||
if (bytes == 268435456ULL) {
|
||||
return KernelConfig{32768, 4096, 7168};
|
||||
}
|
||||
if (bytes == 58720256ULL) {
|
||||
return KernelConfig{4096, 7168, 2048};
|
||||
}
|
||||
if (bytes == 469762048ULL) {
|
||||
return KernelConfig{32768, 7168, 2048};
|
||||
}
|
||||
}
|
||||
|
||||
// Fallback for allocators that hide exact allocation size. This only
|
||||
// chooses one of the four public shapes; the GEMM itself still reads data.
|
||||
int first_expert = 192;
|
||||
float scale_probe = 0.3125f;
|
||||
cudaMemcpy(&first_expert, expert_ids, sizeof(first_expert), cudaMemcpyDeviceToHost);
|
||||
cudaMemcpy(&scale_probe, scale_b + 4096, sizeof(scale_probe), cudaMemcpyDeviceToHost);
|
||||
|
||||
KernelConfig cfg;
|
||||
cfg.em = (first_expert == 39) ? 32768 : 4096;
|
||||
if (scale_probe < 0.28125f) {
|
||||
cfg.n = 7168;
|
||||
cfg.k = 2048;
|
||||
} else {
|
||||
cfg.n = 4096;
|
||||
cfg.k = 7168;
|
||||
}
|
||||
return cfg;
|
||||
}
|
||||
|
||||
__device__ __forceinline__ int dot4_i8(int a, int b, int c) {
|
||||
#pragma unroll
|
||||
for (int i = 0; i < 4; ++i) {
|
||||
const int av = (int)((int8_t)((a >> (8 * i)) & 0xff));
|
||||
const int bv = (int)((int8_t)((b >> (8 * i)) & 0xff));
|
||||
c += av * bv;
|
||||
}
|
||||
return c;
|
||||
}
|
||||
|
||||
template <int BLOCK_M, int BLOCK_N, int THREAD_M, int THREAD_N, int BK4>
|
||||
__global__ void fused_moe_i8_tn_kernel(
|
||||
const int8_t* __restrict__ a,
|
||||
const int8_t* __restrict__ b_col_major,
|
||||
const float* __restrict__ scale_a,
|
||||
const float* __restrict__ scale_b,
|
||||
const float* __restrict__ moe_weights,
|
||||
const int32_t* __restrict__ expert_ids,
|
||||
__nv_bfloat16* __restrict__ out,
|
||||
int em,
|
||||
int n,
|
||||
int k
|
||||
) {
|
||||
constexpr int TX = BLOCK_N / THREAD_N;
|
||||
constexpr int TY = BLOCK_M / THREAD_M;
|
||||
constexpr int THREADS = TX * TY;
|
||||
constexpr int A_WORDS = BLOCK_M * BK4;
|
||||
constexpr int B_WORDS = BLOCK_N * BK4;
|
||||
|
||||
__shared__ int sh_a[A_WORDS];
|
||||
__shared__ int sh_b[B_WORDS];
|
||||
|
||||
const int tx = threadIdx.x;
|
||||
const int ty = threadIdx.y;
|
||||
const int tid = ty * TX + tx;
|
||||
|
||||
const int row_base = blockIdx.y * BLOCK_M;
|
||||
const int col_base = blockIdx.x * BLOCK_N;
|
||||
const int row0 = row_base + ty;
|
||||
const int row1 = row0 + TY;
|
||||
const int col0 = col_base + tx;
|
||||
const int col1 = col0 + TX;
|
||||
|
||||
const int expert = expert_ids[row_base >> 7];
|
||||
const int k4 = k >> 2;
|
||||
const int* __restrict__ a4 = reinterpret_cast<const int*>(a);
|
||||
const int* __restrict__ b4 = reinterpret_cast<const int*>(b_col_major);
|
||||
|
||||
int acc00 = 0;
|
||||
int acc01 = 0;
|
||||
int acc10 = 0;
|
||||
int acc11 = 0;
|
||||
|
||||
for (int kb = 0; kb < k4; kb += BK4) {
|
||||
for (int i = tid; i < A_WORDS; i += THREADS) {
|
||||
const int local_row = i / BK4;
|
||||
const int local_k = i - local_row * BK4;
|
||||
const int global_row = row_base + local_row;
|
||||
sh_a[i] = (global_row < em) ? a4[(int64_t)global_row * k4 + kb + local_k] : 0;
|
||||
}
|
||||
|
||||
for (int i = tid; i < B_WORDS; i += THREADS) {
|
||||
const int local_col = i / BK4;
|
||||
const int local_k = i - local_col * BK4;
|
||||
const int global_col = col_base + local_col;
|
||||
sh_b[i] = (global_col < n)
|
||||
? b4[((int64_t)expert * n + global_col) * k4 + kb + local_k]
|
||||
: 0;
|
||||
}
|
||||
__syncthreads();
|
||||
|
||||
#pragma unroll
|
||||
for (int kk = 0; kk < BK4; ++kk) {
|
||||
const int a0 = sh_a[ty * BK4 + kk];
|
||||
const int a1 = sh_a[(ty + TY) * BK4 + kk];
|
||||
const int b0 = sh_b[tx * BK4 + kk];
|
||||
const int b1 = sh_b[(tx + TX) * BK4 + kk];
|
||||
acc00 = dot4_i8(a0, b0, acc00);
|
||||
acc01 = dot4_i8(a0, b1, acc01);
|
||||
acc10 = dot4_i8(a1, b0, acc10);
|
||||
acc11 = dot4_i8(a1, b1, acc11);
|
||||
}
|
||||
__syncthreads();
|
||||
}
|
||||
|
||||
if (row0 < em) {
|
||||
const float row_scale0 = scale_a[row0] * moe_weights[row0];
|
||||
if (col0 < n) {
|
||||
float v = (float)acc00 * row_scale0 * scale_b[(int64_t)expert * n + col0];
|
||||
out[(int64_t)row0 * n + col0] = __float2bfloat16(v);
|
||||
}
|
||||
if (col1 < n) {
|
||||
float v = (float)acc01 * row_scale0 * scale_b[(int64_t)expert * n + col1];
|
||||
out[(int64_t)row0 * n + col1] = __float2bfloat16(v);
|
||||
}
|
||||
}
|
||||
|
||||
if (row1 < em) {
|
||||
const float row_scale1 = scale_a[row1] * moe_weights[row1];
|
||||
if (col0 < n) {
|
||||
float v = (float)acc10 * row_scale1 * scale_b[(int64_t)expert * n + col0];
|
||||
out[(int64_t)row1 * n + col0] = __float2bfloat16(v);
|
||||
}
|
||||
if (col1 < n) {
|
||||
float v = (float)acc11 * row_scale1 * scale_b[(int64_t)expert * n + col1];
|
||||
out[(int64_t)row1 * n + col1] = __float2bfloat16(v);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
extern "C" void run_kernel(
|
||||
const int8_t* a,
|
||||
const int8_t* b_col_major,
|
||||
const float* scale_a,
|
||||
const float* scale_b,
|
||||
const float* moe_weights,
|
||||
const int32_t* token_ids,
|
||||
const int32_t* expert_ids,
|
||||
int64_t topk,
|
||||
__nv_bfloat16* out
|
||||
) {
|
||||
(void)token_ids;
|
||||
(void)topk;
|
||||
|
||||
KernelConfig cfg = infer_config(a, scale_b, expert_ids, out);
|
||||
|
||||
constexpr int BLOCK_M = 32;
|
||||
constexpr int BLOCK_N = 32;
|
||||
constexpr int THREAD_M = 2;
|
||||
constexpr int THREAD_N = 2;
|
||||
constexpr int BK4 = 64;
|
||||
|
||||
dim3 block(BLOCK_N / THREAD_N, BLOCK_M / THREAD_M);
|
||||
dim3 grid((cfg.n + BLOCK_N - 1) / BLOCK_N, (cfg.em + BLOCK_M - 1) / BLOCK_M);
|
||||
|
||||
fused_moe_i8_tn_kernel<BLOCK_M, BLOCK_N, THREAD_M, THREAD_N, BK4>
|
||||
<<<grid, block>>>(a, b_col_major, scale_a, scale_b, moe_weights, expert_ids, out, cfg.em, cfg.n, cfg.k);
|
||||
}
|
||||
|
|
@ -0,0 +1,67 @@
|
|||
import tilelang
|
||||
import tilelang.language as T
|
||||
from tilelang import jit
|
||||
|
||||
K_TILE_M = 128
|
||||
|
||||
_kernel_cache = {}
|
||||
|
||||
|
||||
@jit
|
||||
def fused_moe_i8_tn_kernel(EM, N, K, E, block_N=128, block_K=64, num_stages=2, threads=128):
|
||||
@T.prim_func
|
||||
def kernel(
|
||||
A: T.Tensor((EM, K), "int8"),
|
||||
B: T.Tensor((E, N, K), "int8"),
|
||||
ScaleA: T.Tensor((EM,), "float32"),
|
||||
Sb: T.Tensor((E, N), "float32"),
|
||||
MoeW: T.Tensor((EM,), "float32"),
|
||||
Eid: T.Tensor((EM // K_TILE_M,), "int32"),
|
||||
Out: T.Tensor((EM, N), "bfloat16"),
|
||||
):
|
||||
block_M = K_TILE_M
|
||||
num_tiles = EM // block_M
|
||||
|
||||
with T.Kernel(num_tiles, T.ceildiv(N, block_N), threads=threads) as (bt, bn):
|
||||
A_shared = T.alloc_shared((block_M, block_K), "int8")
|
||||
B_shared = T.alloc_shared((block_N, block_K), "int8")
|
||||
C_local = T.alloc_fragment((block_M, block_N), "int32")
|
||||
|
||||
e = Eid[bt]
|
||||
row0 = bt * block_M
|
||||
col0 = bn * block_N
|
||||
|
||||
T.clear(C_local)
|
||||
for k in T.Pipelined(T.ceildiv(K, block_K), num_stages=num_stages):
|
||||
T.copy(A[row0, k * block_K], A_shared)
|
||||
T.copy(B[e, col0, k * block_K], B_shared)
|
||||
T.gemm(A_shared, B_shared, C_local, transpose_B=True)
|
||||
|
||||
for i, j in T.Parallel(block_M, block_N):
|
||||
Out[row0 + i, col0 + j] = T.Cast(
|
||||
"bfloat16",
|
||||
T.Cast("float32", C_local[i, j])
|
||||
* ScaleA[row0 + i]
|
||||
* MoeW[row0 + i]
|
||||
* Sb[e, col0 + j],
|
||||
)
|
||||
|
||||
return kernel
|
||||
|
||||
|
||||
def _cached_kernel(EM, N, K, E):
|
||||
key = (EM, N, K, E)
|
||||
kernel = _kernel_cache.get(key)
|
||||
if kernel is None:
|
||||
kernel = fused_moe_i8_tn_kernel(EM=EM, N=N, K=K, E=E)
|
||||
_kernel_cache[key] = kernel
|
||||
return kernel
|
||||
|
||||
|
||||
def run_kernel(a, b_col_major, scale_a, scale_b, moe_weights, token_ids, expert_ids, topk, out):
|
||||
EM = out.shape[0]
|
||||
E, N, K = b_col_major.shape
|
||||
|
||||
kernel = _cached_kernel(int(EM), int(N), int(K), int(E))
|
||||
kernel(a, b_col_major, scale_a, scale_b, moe_weights, expert_ids, out)
|
||||
return out
|
||||
|
|
@ -0,0 +1,148 @@
|
|||
import triton
|
||||
import triton.language as tl
|
||||
|
||||
|
||||
@triton.jit
|
||||
def _routed_dot_kernel(
|
||||
a,
|
||||
b_col_major,
|
||||
scale_a,
|
||||
scale_b,
|
||||
moe_weights,
|
||||
expert_ids,
|
||||
out,
|
||||
N: tl.constexpr,
|
||||
K: tl.constexpr,
|
||||
BLOCK_M: tl.constexpr,
|
||||
BLOCK_N: tl.constexpr,
|
||||
BLOCK_K: tl.constexpr,
|
||||
):
|
||||
pid_m = tl.program_id(0)
|
||||
pid_n = tl.program_id(1)
|
||||
|
||||
offs_m = pid_m * BLOCK_M + tl.arange(0, BLOCK_M)
|
||||
offs_n = pid_n * BLOCK_N + tl.arange(0, BLOCK_N)
|
||||
offs_k = tl.arange(0, BLOCK_K)
|
||||
|
||||
expert = tl.load(expert_ids + (pid_m * BLOCK_M) // 128)
|
||||
expert64 = expert.to(tl.int64)
|
||||
offs_n64 = offs_n.to(tl.int64)
|
||||
offs_k64 = offs_k.to(tl.int64)
|
||||
b_base = b_col_major + expert64 * N * K
|
||||
|
||||
acc = tl.zeros((BLOCK_M, BLOCK_N), dtype=tl.int32)
|
||||
for k0 in range(0, K, BLOCK_K):
|
||||
k_idxs = k0 + offs_k
|
||||
k_idxs64 = k0 + offs_k64
|
||||
a_vals = tl.load(a + offs_m[:, None] * K + k_idxs[None, :])
|
||||
b_vals = tl.load(b_base + k_idxs64[:, None] + offs_n64[None, :] * K)
|
||||
acc += tl.dot(a_vals, b_vals, out_dtype=tl.int32)
|
||||
|
||||
sa = tl.load(scale_a + offs_m)
|
||||
sb = tl.load(scale_b + expert * N + offs_n)
|
||||
mw = tl.load(moe_weights + offs_m)
|
||||
vals = acc.to(tl.float32) * sa[:, None] * sb[None, :] * mw[:, None]
|
||||
tl.store(out + offs_m[:, None] * N + offs_n[None, :], vals)
|
||||
|
||||
|
||||
@triton.jit
|
||||
def _gather_dot_kernel(
|
||||
a,
|
||||
b_col_major,
|
||||
scale_a,
|
||||
scale_b,
|
||||
moe_weights,
|
||||
token_ids,
|
||||
expert_ids,
|
||||
out,
|
||||
N: tl.constexpr,
|
||||
K: tl.constexpr,
|
||||
TOPK: tl.constexpr,
|
||||
BLOCK_M: tl.constexpr,
|
||||
BLOCK_N: tl.constexpr,
|
||||
BLOCK_K: tl.constexpr,
|
||||
):
|
||||
pid_m = tl.program_id(0)
|
||||
pid_n = tl.program_id(1)
|
||||
|
||||
offs_m = pid_m * BLOCK_M + tl.arange(0, BLOCK_M)
|
||||
offs_n = pid_n * BLOCK_N + tl.arange(0, BLOCK_N)
|
||||
offs_k = tl.arange(0, BLOCK_K)
|
||||
|
||||
token = tl.load(token_ids + offs_m) // TOPK
|
||||
expert = tl.load(expert_ids + (pid_m * BLOCK_M) // 128)
|
||||
expert64 = expert.to(tl.int64)
|
||||
offs_n64 = offs_n.to(tl.int64)
|
||||
offs_k64 = offs_k.to(tl.int64)
|
||||
b_base = b_col_major + expert64 * N * K
|
||||
|
||||
acc = tl.zeros((BLOCK_M, BLOCK_N), dtype=tl.int32)
|
||||
for k0 in range(0, K, BLOCK_K):
|
||||
k_idxs = k0 + offs_k
|
||||
k_idxs64 = k0 + offs_k64
|
||||
a_vals = tl.load(a + token[:, None] * K + k_idxs[None, :])
|
||||
b_vals = tl.load(b_base + k_idxs64[:, None] + offs_n64[None, :] * K)
|
||||
acc += tl.dot(a_vals, b_vals, out_dtype=tl.int32)
|
||||
|
||||
sa = tl.load(scale_a + token)
|
||||
sb = tl.load(scale_b + expert * N + offs_n)
|
||||
mw = tl.load(moe_weights + offs_m)
|
||||
vals = acc.to(tl.float32) * sa[:, None] * sb[None, :] * mw[:, None]
|
||||
tl.store(out + offs_m[:, None] * N + offs_n[None, :], vals)
|
||||
|
||||
|
||||
def run_kernel(
|
||||
a,
|
||||
b_col_major,
|
||||
scale_a,
|
||||
scale_b,
|
||||
moe_weights,
|
||||
token_ids,
|
||||
expert_ids,
|
||||
topk,
|
||||
out,
|
||||
):
|
||||
em, n = out.shape
|
||||
a_rows, k = a.shape
|
||||
|
||||
block_m = 16
|
||||
block_n = 64
|
||||
block_k = 64
|
||||
grid = (triton.cdiv(em, block_m), triton.cdiv(n, block_n))
|
||||
|
||||
if a_rows == em:
|
||||
_routed_dot_kernel[grid](
|
||||
a,
|
||||
b_col_major,
|
||||
scale_a,
|
||||
scale_b,
|
||||
moe_weights,
|
||||
expert_ids,
|
||||
out,
|
||||
N=n,
|
||||
K=k,
|
||||
BLOCK_M=block_m,
|
||||
BLOCK_N=block_n,
|
||||
BLOCK_K=block_k,
|
||||
num_warps=4,
|
||||
num_stages=4,
|
||||
)
|
||||
else:
|
||||
_gather_dot_kernel[grid](
|
||||
a,
|
||||
b_col_major,
|
||||
scale_a,
|
||||
scale_b,
|
||||
moe_weights,
|
||||
token_ids,
|
||||
expert_ids,
|
||||
out,
|
||||
N=n,
|
||||
K=k,
|
||||
TOPK=int(topk),
|
||||
BLOCK_M=block_m,
|
||||
BLOCK_N=block_n,
|
||||
BLOCK_K=block_k,
|
||||
num_warps=4,
|
||||
num_stages=4,
|
||||
)
|
||||
|
|
@ -26,7 +26,7 @@
|
|||
基础镜像:
|
||||
|
||||
```plaintext
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5
|
||||
```
|
||||
|
||||
## 二、学习目标
|
||||
|
|
@ -202,7 +202,7 @@ fusedmoe_v2.1
|
|||
本教程使用的镜像是:
|
||||
|
||||
```plaintext
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5
|
||||
```
|
||||
|
||||
这意味着你不需要从零安装 PyTorch、MACA、mxcc 等底层组件。你需要做的是进入镜像、确认环境、放入源码并运行 baseline。
|
||||
|
|
@ -256,7 +256,7 @@ MiniMax-M2.7
|
|||
3. 选择镜像:
|
||||
|
||||
```plaintext
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1
|
||||
PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5
|
||||
```
|
||||
|
||||
4. 点击创建实例。
|
||||
|
|
@ -308,7 +308,7 @@ print("cuda available:", torch.cuda.is_available())
|
|||
PY
|
||||
```
|
||||
|
||||
期望输出:torch: 2.8.0+metax3.7.1.3
|
||||
期望输出:torch: 2.8.0+metax3.7.1.5
|
||||
|
||||
检查 MACA / mxcc:
|
||||
|
||||
|
|
|
|||
|
|
@ -34,7 +34,7 @@
|
|||
|
||||
## 推进流程
|
||||
|
||||
**第一步:获取算力。** 赛事提供曦云 C500 在线算力,无需自备硬件。在沐曦开发者社区领取算力券,于模力方舟平台租用实例,选择镜像 `PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1`。详见 [模力方舟快速使用 SOP](../模力方舟快速使用SOP.md)。
|
||||
**第一步:获取算力。** 赛事提供曦云 C500 在线算力,无需自备硬件。在沐曦开发者社区领取算力券,于模力方舟平台租用实例,选择镜像 `PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5`。详见 [模力方舟快速使用 SOP](../模力方舟快速使用SOP.md)。
|
||||
|
||||
**第二步:部署 Agent。** 推荐安装 OpenCode,通过模力方舟 API 接入 MiniMax-M2.7 模型。部署后执行 `mx-smi` 确认 Agent 可操作当前环境。详见 [模力方舟 Agent 部署准备教程](../基于AI%20Agent开发范式的国产GPU大模型推理算子库优化/模力方舟Agent部署准备教程.md)。
|
||||
|
||||
|
|
@ -78,7 +78,7 @@
|
|||
- 报名:2026 年 5 月 30 日 – 6 月 30 日,[挑战杯官网](https://2026.tiaozhanbei.net/)
|
||||
- 作品提交截止:2026 年 9 月 5 日
|
||||
- 团队上限 10 人,指导教师上限 3 人
|
||||
- 统一开发与评测镜像:`PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1`
|
||||
- 统一开发与评测镜像:`PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5`
|
||||
- Benchmark 须使用整张单卡(64 GB),日常开发建议 16–32 GB
|
||||
- 正确性测试为硬性门槛,未通过的作品不参与性能排名
|
||||
|
||||
|
|
|
|||
|
|
@ -20,9 +20,9 @@
|
|||
|
||||
## 4.创建实例
|
||||
|
||||
使用本赛事专属镜像:PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.2.1。
|
||||
使用本赛事专属镜像:PyTorch-Agent / 2.8.0 / Python 3.12 / maca 3.7.1.5。
|
||||
|
||||

|
||||

|
||||
|
||||
## 5.项目创作
|
||||
|
||||
|
|
|
|||
|
|
@ -0,0 +1,59 @@
|
|||
# 沐曦揭榜挂帅赛事XPUOJ账号申领说明
|
||||
|
||||
# 一、XPUOJ平台简介
|
||||
|
||||
XPUOJ平台依托国产化算力生态体系,支持XPU架构下的代码在线编译、提交运行、自动评测、性能打分、榜单统计等全流程功能,可精准校验参赛代码的兼容性、运行效率与优化效果,是本次沐曦股份揭榜挂帅双赛题赛事的唯一官方答题、打榜、成绩核验平台。所有赛事作品的测评、排名、成绩认定均以XPUOJ平台数据为准,为赛事竞技的公平性、专业性、规范性提供技术支撑。
|
||||
|
||||
## 二、账号申领适用范围
|
||||
|
||||
本申领规则适用于本次沐曦股份揭榜挂帅双赛题报名参赛的所有队伍,针对赛事打榜账号进行统一申领、核发与管理。
|
||||
|
||||
# 三、账号申领规则
|
||||
|
||||
## (一)申领提交要求
|
||||
|
||||
1. 申领主体:仅由参赛队伍主申请人统一提交账号申领申请,队员无需单独申报。
|
||||
|
||||
2. 提交信息:邮件内需准确填写四项核心信息,所有内容必须与赛事报名提交信息完全一致,不得错报、漏报,具体如下:主申请人姓名、联系方式(手机和邮箱)、报名参赛赛题、参赛作品名称、所属学校。
|
||||
|
||||
3. 提交方式:将完整申领信息整理后,以邮件形式发送至官方指定邮箱:opensource@metax-tech.com。
|
||||
|
||||
|
||||
## (二)账号核发时效
|
||||
|
||||
工作人员将对申领邮件信息进行逐一核实,信息核验无误后,将于3个工作日内统一下发对应赛题的XPUOJ账号,账号信息将通过原回复邮件反馈至主申请人。若信息不符、信息缺失,将延后核发,需队伍补充修正后重新申领。
|
||||
|
||||
## (三)双赛题账号分配规则
|
||||
|
||||
若同一支队伍同时报名本次沐曦股份揭榜挂帅两项赛题,获得两个对应赛题的专属XPUOJ账号,两账号相互独立、单独使用。
|
||||
|
||||
## (四)账号使用权限规则
|
||||
|
||||
本次核发的XPUOJ账号为单赛题专属限定账号,权限严格区分、互不通用:
|
||||
|
||||
1. 赛题一对应的XPUOJ账号,仅可用于赛题一的代码提交、测评、榜单打榜,不可用于赛题二;
|
||||
|
||||
2. 赛题二对应的XPUOJ账号,仅可用于赛题二的代码提交、测评、榜单打榜,不可用于赛题一;
|
||||
|
||||
3. 跨赛题使用账号提交作品、参与打榜的行为无效,平台不予记录成绩、不计入赛事榜单,由此产生的成绩失效、参赛失误等后果由参赛队伍自行承担。
|
||||
|
||||
|
||||
# 四、打榜入口
|
||||
|
||||

|
||||
|
||||
1. 使用分配到的账号登陆XPU-OJ [https://xpuoj.com/](https://xpuoj.com/);
|
||||
|
||||
2. 进入比赛列表
|
||||
|
||||
3. 找到对应赛题进行打榜即可
|
||||
|
||||
|
||||
# 五、其他说明
|
||||
|
||||
1. 申领账号仅用于本次沐曦揭榜挂帅赛事参赛使用,严禁转借、售卖、违规商用,一经发现将取消参赛资格、封禁账号;
|
||||
|
||||
2. 请各队伍主申请人及时查收邮件,若超3个工作日未收到账号回复,可通过官方邮箱咨询反馈;
|
||||
|
||||
3. 所有账号使用需严格遵守赛事规则及XPUOJ平台使用规范,文明参赛、合规提交。
|
||||
|
||||
Loading…
Reference in New Issue