diff --git a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/基于AI Agent开发范式的国产GPU大模型算子推理库优化方案.md b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/基于AI Agent开发范式的国产GPU大模型算子推理库优化方案.md
index 9a54d4e..758c3ca 100644
--- a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/基于AI Agent开发范式的国产GPU大模型算子推理库优化方案.md
+++ b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/基于AI Agent开发范式的国产GPU大模型算子推理库优化方案.md
@@ -54,9 +54,9 @@
| 内容 | 说明 |
|------|------|
-| 迁移FlashInfer的关键算子到MACA平台,并优化性能 | 版本:FlashInfer-ai/FlashInfer 0.2.8
API:
BatchPrefillWithRaggedKVCacheWrapper
- headdim64/128/256, qk192+vo128 for mla
BatchPrefillWithPagedKVCacheWrapper
- headdim64/128/256
BatchMLAPagedAttentionWrapper
- headdim qk576+vo512
BatchDecodeWithPagedKVCacheWrapper
- headdim64/128/256
语言:MACA/C++
数据类型:BF16
page size:[1, 16]
seqlen:1K~180K,选自真实大模型,且seqlen取值随机以增加泛化性 |
-| 迁移FlashAttention的关键算子到MACA平台,并优化性能 | 版本:Dao-AILab/FlashAttention 2.6.3
API:flash_attn_with_kvcache
语言:MACA/C++
数据类型:BF16
headdim:[32, 64, 96, 128, 160, 192, 224, 256, 512],其中128、256、512高优
page size:16
seqlen:1K~180K,选自真实大模型,且seqlen取值随机以增加泛化性 |
-| 迁移Fused MOE算子到MACA平台,并优化性能 | API:Fused MOE
语言:Tilelang/Triton/MACA C;
精度:INT8 W8A8;
shape: n_tokens, n_experts, topK, N, K均选自真实大模型,在典型切分,典型seqlen, batchsize的真实取值 |
+| 迁移FlashInfer的关键算子到MACA平台,并优化性能 | 版本:FlashInfer-ai/FlashInfer 0.2.8
API:
BatchPrefillWithRaggedKVCacheWrapper
- headdim64/128/256, qk192+vo128 for mla
BatchPrefillWithPagedKVCacheWrapper
- headdim64/128/256
BatchMLAPagedAttentionWrapper
- headdim qk576+vo512
BatchDecodeWithPagedKVCacheWrapper
- headdim64/128/256
语言:Tilelang/Triton/MACA C++
数据类型:BF16
page size:[1, 16]
seqlen:1K~180K,选自真实大模型,且seqlen取值随机以增加泛化性 |
+| 迁移FlashAttention的关键算子到MACA平台,并优化性能 | 版本:Dao-AILab/FlashAttention 2.6.3
API:flash_attn_with_kvcache
语言:Tilelang/Triton/MACA C++
数据类型:BF16
headdim:[32, 64, 96, 128, 160, 192, 224, 256, 512],其中128、256、512高优
page size:16
seqlen:1K~180K,选自真实大模型,且seqlen取值随机以增加泛化性 |
+| 迁移Fused MOE算子到MACA平台,并优化性能 | API:Fused MOE
语言:Tilelang/Triton/MACA C++;
精度:INT8 W8A8;
shape: n_tokens, n_experts, topK, N, K均选自真实大模型,在典型切分,典型seqlen, batchsize的真实取值 |
提交可复现的算子优化的源码、测试及测试框架、性能测试脚本、性能报告、Agent/Skill,以及对应的PPT和文档。