forked from metax-maca/op_optimization
<docs>(flashinfer): 链接统一换成斜体
This commit is contained in:
MaseChen
parent
9b4d988272
commit
fa8e07c31c
|
|
@ -67,7 +67,7 @@
|
|||
|
||||
#### 4.1.1 获取算力代金券
|
||||
|
||||
[点击获取算力代金券](https://developer.metax-tech.com/activities/6)，首次登录需要使用邮箱或者手机号进行注册。登录成功后提交申请获得兑换码。
|
||||
[*点击获取算力代金券*](https://developer.metax-tech.com/activities/6)，首次登录需要使用邮箱或者手机号进行注册。登录成功后提交申请获得兑换码。
|
||||
|
||||
|
||||
|
||||
|
|
@ -75,7 +75,7 @@
|
|||
|
||||
使用兑换码兑换 GPU 租用余额：
|
||||
|
||||
访问 [模力方舟官网](https://ai.gitee.com/)，在左侧边栏进入 “费用中心”，点击右上角 “兑换” 使用兑换码兑换代金券；
|
||||
访问 [*模力方舟官网*](https://ai.gitee.com/)，在左侧边栏进入 “费用中心”，点击右上角 “兑换” 使用兑换码兑换代金券；
|
||||
|
||||
|
||||
|
||||
|
|
@ -126,7 +126,7 @@
|
|||
|
||||
|
||||
|
||||
此部分内容以教程 [模力方舟快速使用SOP](../模力方舟快速使用SOP.md) 为准。
|
||||
此部分内容可参考教程：[*模力方舟快速使用SOP*](../模力方舟快速使用SOP.md)
|
||||
|
||||
#### 4.1.4 深度学习环境配置
|
||||
|
||||
|
|
@ -161,7 +161,7 @@ which mxcc && mxcc --version || echo "mxcc 未找到，请确认 MACA 工具链
|
|||
|
||||
| 问题 | 解决方法 |
|
||||
| --- | --- |
|
||||
| `mxcc: command not found` | MACA 工具链未安装或 `PATH` 未配置，检查镜像是否预装或参考 [模力方舟快速使用SOP](../模力方舟快速使用SOP.md) |
|
||||
| `mxcc: command not found` | MACA 工具链未安装或 `PATH` 未配置，检查镜像是否预装或参考 [*模力方舟快速使用SOP*](../模力方舟快速使用SOP.md) |
|
||||
|
||||
### 4.2 工具准备
|
||||
|
||||
|
|
@ -171,7 +171,7 @@ which mxcc && mxcc --version || echo "mxcc 未找到，请确认 MACA 工具链
|
|||
|
||||
- 已确认 Agent 可以正常调用模型。
|
||||
|
||||
配置过程可参考 [模力方舟Agent部署准备教程](模力方舟Agent部署准备教程.md)。
|
||||
配置过程可参考 [*模力方舟Agent部署准备教程*](模力方舟Agent部署准备教程.md)。
|
||||
|
||||
|
||||
**以配置 OpenCode 为例**
|
||||
|
|
@ -183,7 +183,7 @@ curl -fsSL https://opencode.ai/install | bash
|
|||
opencode
|
||||
```
|
||||
|
||||
后续配置教程可参考 [OpenCode 官方文档](https://opencode.ai/docs/)。
|
||||
后续配置教程可参考 [*OpenCode 官方文档*](https://opencode.ai/docs/)。
|
||||
|
||||
|
||||
### 4.3 代码准备
|
||||
|
|
@ -194,7 +194,7 @@ opencode
|
|||
|
||||
- 已获取测试脚本和 Benchmark 脚本。
|
||||
|
||||
> 具体操作可见章节 [6.1 在赛事镜像中运行 FlashInfer Benchmark](#run-flashinfer-bench)
|
||||
> 具体操作可见章节 [*6.1 在赛事镜像中运行 FlashInfer Benchmark*](#run-flashinfer-bench)
|
||||
|
||||
|
||||
### 4.4 账号准备
|
||||
|
|
@ -239,7 +239,7 @@ XPU-OJ 账号由组委会统一发放，参赛者无需自行注册。
|
|||
|
||||
### 5.3 开源仓库参考
|
||||
|
||||
[GitHub - MetaX-MACA/McFlashInfer](https://github.com/MetaX-MACA/McFlashInfer)
|
||||
[*GitHub - MetaX-MACA/McFlashInfer*](https://github.com/MetaX-MACA/McFlashInfer)
|
||||
|
||||
> 链接内容可供用于学习 API、算子实现思路、benchmark 方法和优化策略。选手仍需根据 XPU-OJ 题包接口**自行实现**可提交的 `run_kernel(...)`
|
||||
|
||||
|
|
@ -308,7 +308,7 @@ pip install pandas
|
|||
|
||||
#### Step 2：进入项目目录
|
||||
|
||||
**目标：** 进入本模块所需的源码目录 [benchmark](https://gitlink.org.cn/metax-maca/op_optimization/tree/master/%E5%9F%BA%E4%BA%8EAI%20Agent%E5%BC%80%E5%8F%91%E8%8C%83%E5%BC%8F%E7%9A%84%E5%9B%BD%E4%BA%A7GPU%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%AE%97%E5%AD%90%E5%BA%93%E4%BC%98%E5%8C%96%2Foperator_task_package%2Fflashinfer_task_package%2Fbenchmark)。
|
||||
**目标：** 进入本模块所需的源码目录 [*benchmark*](https://gitlink.org.cn/metax-maca/op_optimization/tree/master/%E5%9F%BA%E4%BA%8EAI%20Agent%E5%BC%80%E5%8F%91%E8%8C%83%E5%BC%8F%E7%9A%84%E5%9B%BD%E4%BA%A7GPU%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%AE%97%E5%AD%90%E5%BA%93%E4%BC%98%E5%8C%96%2Foperator_task_package%2Fflashinfer_task_package%2Fbenchmark)。
|
||||
|
||||
1. 克隆代码仓库
|
||||
|
||||
|
|
@ -367,7 +367,7 @@ python -c "from bench_common import setup_workspace, get_csv_path; print('脚本
|
|||
|
||||
**操作：** 运行基准测试脚本 （以 Ragged Prefill Benchmark 为例），读取生成的 CSV 结果文件。
|
||||
|
||||
> 每个算子优化题目都对应一个 Benchmark（见 [5.2 查看性能基线](#benchmark-baseline)）
|
||||
> 每个算子优化题目都对应一个 Benchmark（见 [*5.2 查看性能基线*](#benchmark-baseline)）
|
||||
|
||||
**运行算子 Benchmark（以 Ragged Prefill 为例）：**
|
||||
|
||||
|
|
@ -480,7 +480,7 @@ FlashInfer 方向包含 **4 个可选算子题目**，每个对应独立的 benc
|
|||
|
||||
**每个子题的接口参数、数据范围和精度要求以对应 XPU-OJ 题包为准。** 下文以题目 **20001 Flashinfer Ragged Prefill** 为例演示从 benchmark 到 XPU-OJ 提交的完整流程。
|
||||
|
||||
题目的更多信息可参考 [20001 Flashinfer Ragged Prefill 题目说明](https://gitlink.org.cn/metax-maca/op_optimization/tree/master/%E5%9F%BA%E4%BA%8EAI%20Agent%E5%BC%80%E5%8F%91%E8%8C%83%E5%BC%8F%E7%9A%84%E5%9B%BD%E4%BA%A7GPU%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%AE%97%E5%AD%90%E5%BA%93%E4%BC%98%E5%8C%96%2Foperator_task_package%2Fflashinfer_task_package%2Fxpuoj_problem%2Fproblem_20001%2Fzh_CN)。
|
||||
题目的更多信息可参考 [*20001 Flashinfer Ragged Prefill 题目说明*](https://gitlink.org.cn/metax-maca/op_optimization/tree/master/%E5%9F%BA%E4%BA%8EAI%20Agent%E5%BC%80%E5%8F%91%E8%8C%83%E5%BC%8F%E7%9A%84%E5%9B%BD%E4%BA%A7GPU%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%AE%97%E5%AD%90%E5%BA%93%E4%BC%98%E5%8C%96%2Foperator_task_package%2Fflashinfer_task_package%2Fxpuoj_problem%2Fproblem_20001%2Fzh_CN)。
|
||||
|
||||
#### Step 6：理解 XPU-OJ 评测接口与精度要求
|
||||
**目标：** 明确 Benchmark 与最终评测提交之间的关系，理解选手需要实现的内容。
|
||||
|
|
@ -607,7 +607,7 @@ FlashInfer 方向包含 **4 个可选算子题目**，每个对应独立的 benc
|
|||
|
||||
使用组委会统一发放的账号登录 XPU-OJ，并进入对应赛题页面。
|
||||
|
||||
1. 打开 [XPU-OJ](https://xpuoj.com/) 平台，使用组委会统一发放的账号和初始密码登录 **【后续发布】**；
|
||||
1. 打开 [*XPU-OJ*](https://xpuoj.com/) 平台，使用组委会统一发放的账号和初始密码登录 **【后续发布】**；
|
||||
|
||||
|
||||
|
||||
|
|
@ -1690,7 +1690,7 @@ mv *.csv results/
|
|||
|
||||
### 9.2 深入理解 FlashInfer 核心概念
|
||||
|
||||
- 阅读 [FlashInfer 官方文档](https://docs.flashinfer.ai/index.html) 及 [源码](https://github.com/flashinfer-ai/flashinfer)，理解 Paged KV Cache、Ragged KV Cache 的设计理念；
|
||||
- 阅读 [*FlashInfer 官方文档*](https://docs.flashinfer.ai/index.html) 及 [*源码*](https://github.com/flashinfer-ai/flashinfer)，理解 Paged KV Cache、Ragged KV Cache 的设计理念；
|
||||
|
||||
- 学习 MLA (Multi-head Latent Attention) 的原理，了解 DeepSeek 的注意力优化方案；
|
||||
|
||||
|
|
@ -1698,10 +1698,13 @@ mv *.csv results/
|
|||
|
||||
**参考文档：**
|
||||
|
||||
- [KV-Cache Layout in FlashInfer](https://docs.flashinfer.ai/tutorials/kv_layout.html)
|
||||
- [DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model](https://arxiv.org/abs/2405.04434)
|
||||
- [DeepSeek-V3 Technical Report](https://arxiv.org/abs/2412.19437)
|
||||
- [GitHub - deepseek-ai/DeepSeek-V3](https://github.com/deepseek-ai/deepseek-v3)
|
||||
- [*KV-Cache Layout in FlashInfer*](https://docs.flashinfer.ai/tutorials/kv_layout.html)
|
||||
|
||||
- [*DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model*](https://arxiv.org/abs/2405.04434)
|
||||
|
||||
- [*DeepSeek-V3 Technical Report*](https://arxiv.org/abs/2412.19437)
|
||||
|
||||
- [*GitHub - deepseek-ai/DeepSeek-V3*](https://github.com/deepseek-ai/deepseek-v3)
|
||||
|
||||
### 9.3 进入算子优化模块
|
||||
|
||||
|
|
@ -1724,7 +1727,7 @@ mv *.csv results/
|
|||
|
||||
完成优化后，再次运行本模块的 Benchmark 脚本，对比前后性能变化。
|
||||
|
||||
> 使用 Agent 整理优化日志，可形成可复现的 Agent/Skill 优化流程
|
||||
> 使用 Agent 整理优化日志，可形成可复现的 Agent / Skill 优化流程
|
||||
|
||||
### 9.5 使用多语言完成算子优化加速
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue