forked from metax-maca/op_optimization
fused_moe修改
This commit is contained in:
parent
ca4555201f
commit
687be79b79
|
|
@ -53,29 +53,22 @@
|
|||
|
||||
## 四、前置准备
|
||||
|
||||
开始实战前,请确认你已经完成以下准备:
|
||||
**开始实战前,请确认你已经完成以下准备:**
|
||||
|
||||
**环境准备:**
|
||||
|
||||
|
||||
* 已进入赛事专属镜像环境。
|
||||
|
||||
|
||||
**工具准备:**
|
||||
|
||||
|
||||
* 已准备 Agent 工具;
|
||||
|
||||
* 已配置 Token / API Key;
|
||||
|
||||
* 已确认 Agent 可以正常调用模型。
|
||||
|
||||
* 已准备 Agent 工具;
|
||||
* 已配置 Token / API Key;
|
||||
* 已确认 Agent 可以正常调用模型。
|
||||
|
||||
**代码准备:**
|
||||
|
||||
* 已获取 Fused MoE Baseline 源码。
|
||||
|
||||
* 已获取 Fused MoE Baseline 源码。
|
||||
|
||||
|
||||
## 五、项目实践1-算力平台 baseline 源码部署
|
||||
|
||||
|
|
@ -113,6 +106,7 @@ else:
|
|||
EOF
|
||||
```
|
||||
|
||||
|
||||
**预期结果:**
|
||||
|
||||
* Python 3.12.11
|
||||
|
|
@ -145,6 +139,7 @@ EOF
|
|||
cd /root/Project/fused_moe # 这里需要替换成自己的项目路径
|
||||
```
|
||||
|
||||
|
||||
**预期结果:**
|
||||
|
||||
终端提示符路径显示为 fused\_moe 项目路径:
|
||||
|
|
@ -170,6 +165,7 @@ bash scripts/build_fused_moe_i8_tn_pybind.sh
|
|||
PYTHON_BIN=/path/to/python bash scripts/build_fused_moe_i8_tn_pybind.sh
|
||||
```
|
||||
|
||||
|
||||
**预期结果:**
|
||||
|
||||
编译成功无报错,终端显示:
|
||||
|
|
@ -209,7 +205,8 @@ bash scripts/run_fused_moe_i8_tn_pybind_test.sh --backend triton
|
|||
# 只测 reference:
|
||||
bash scripts/run_fused_moe_i8_tn_pybind_test.sh --backend reference
|
||||
```
|
||||
|
||||
|
||||
|
||||
**预期结果:**
|
||||
|
||||
编译成功无报错,输出示例如下:
|
||||
|
|
@ -264,6 +261,7 @@ bash scripts/run_fused_moe_i8_tn_benchmark.sh --backend all --warmup 5 --iters 2
|
|||
# --iters:设置迭代次数
|
||||
```
|
||||
|
||||
|
||||
**预期结果:**
|
||||
|
||||
编译成功无报错,输出示例如下:
|
||||
|
|
|
|||
Loading…
Reference in New Issue