diff --git a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md index 12525e2..7ecaa0a 100644 --- a/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md +++ b/基于AI Agent开发范式的国产GPU大模型推理算子库优化/FlashInfer Benchmark实战:从性能基线到XPU-OJ冒烟提交.md @@ -308,7 +308,7 @@ pip install pandas #### Step 2:进入项目目录 -**目标:** 进入本模块所需的源码目录 [benchmark](operator_task_package/flashinfer_task_package/benchmark)。 +**目标:** 进入本模块所需的源码目录 [benchmark](https://gitlink.org.cn/metax-maca/op_optimization/tree/master/%E5%9F%BA%E4%BA%8EAI%20Agent%E5%BC%80%E5%8F%91%E8%8C%83%E5%BC%8F%E7%9A%84%E5%9B%BD%E4%BA%A7GPU%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%AE%97%E5%AD%90%E5%BA%93%E4%BC%98%E5%8C%96%2Foperator_task_package%2Fflashinfer_task_package%2Fbenchmark)。 1. 克隆代码仓库 @@ -480,7 +480,7 @@ FlashInfer 方向包含 **4 个可选算子题目**,每个对应独立的 benc **每个子题的接口参数、数据范围和精度要求以对应 XPU-OJ 题包为准。** 下文以题目 **20001 Flashinfer Ragged Prefill** 为例演示从 benchmark 到 XPU-OJ 提交的完整流程。 -题目的更多信息可参考 [20001 Flashinfer Ragged Prefill 题目说明](operator_task_package/flashinfer_task_package/xpuoj_problem/problem_20001/zh_CN)。 +题目的更多信息可参考 [20001 Flashinfer Ragged Prefill 题目说明](https://gitlink.org.cn/metax-maca/op_optimization/tree/master/%E5%9F%BA%E4%BA%8EAI%20Agent%E5%BC%80%E5%8F%91%E8%8C%83%E5%BC%8F%E7%9A%84%E5%9B%BD%E4%BA%A7GPU%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%AE%97%E5%AD%90%E5%BA%93%E4%BC%98%E5%8C%96%2Foperator_task_package%2Fflashinfer_task_package%2Fxpuoj_problem%2Fproblem_20001%2Fzh_CN)。 #### Step 6:理解 XPU-OJ 评测接口与精度要求 **目标:** 明确 Benchmark 与最终评测提交之间的关系,理解选手需要实现的内容。 @@ -1692,20 +1692,19 @@ mv *.csv results/ - 阅读 [FlashInfer 官方文档](https://docs.flashinfer.ai/index.html) 及 [源码](https://github.com/flashinfer-ai/flashinfer),理解 Paged KV Cache、Ragged KV Cache 的设计理念; - 参考文档:[KV-Cache Layout in FlashInfer](https://docs.flashinfer.ai/tutorials/kv_layout.html) - - 学习 MLA (Multi-head Latent Attention) 的原理,了解 DeepSeek 的注意力优化方案; - 参考文档: - - - [DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model](https://arxiv.org/abs/2405.04434) - - - [DeepSeek-V3 Technical Report](https://arxiv.org/abs/2412.19437) - - - [GitHub - deepseek-ai/DeepSeek-V3](https://github.com/deepseek-ai/deepseek-v3) - - 理解 `plan()` 和 `run()` 两阶段设计的作用。 +**参考文档:** + +- [KV-Cache Layout in FlashInfer](https://docs.flashinfer.ai/tutorials/kv_layout.html) + +- [DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model](https://arxiv.org/abs/2405.04434) + +- [DeepSeek-V3 Technical Report](https://arxiv.org/abs/2412.19437) + +- [GitHub - deepseek-ai/DeepSeek-V3](https://github.com/deepseek-ai/deepseek-v3) ### 9.3 进入算子优化模块