forked from metax-maca/op_optimization
Fused MoE
This commit is contained in:
parent
4203f897b3
commit
6e6419fdb4
|
|
@ -71,6 +71,7 @@
|
|||
**代码准备:**
|
||||
|
||||
* 已获取 Fused MoE Baseline 源码。
|
||||
|
||||
|
||||
## 五、项目实践1-算力平台 baseline 源码部署
|
||||
|
||||
|
|
@ -288,7 +289,7 @@ PYTHON_BIN=/path/to/python bash scripts/build_fused_moe_i8_tn_pybind.sh
|
|||
|
||||
* “fused\_moe\_i8\_tn\_topk1/2/3”:分别对应选择前 1 / 2 / 3 个专家场景下的 MoE 算子;
|
||||
|
||||
* “avg\_ms”:平均算子执行耗时(毫秒),这里不计算预热时间,只计算正式迭代的时间<EFBFBD><EFBFBD><EFBFBD>
|
||||
* “avg\_ms”:平均算子执行耗时(毫秒),这里不计算预热时间,只计算正式迭代的<EFBFBD><EFBFBD><EFBFBD>间<EFBFBD><EFBFBD><EFBFBD>
|
||||
|
||||
* “TOPS”:Tera Operations Per Second,本次 MoE 算子的总运算量 / 实际耗时;
|
||||
|
||||
|
|
@ -414,11 +415,11 @@ PYTHON_BIN=/path/to/python bash scripts/build_fused_moe_i8_tn_pybind.sh
|
|||
5. 提交优化任务:点击右下角 \[优化\] 按钮,系统将提交任务并进入 \[生成中\] 状态
|
||||
|
||||
|
||||

|
||||

|
||||
|
||||
完成上述步骤将看到如下界面:
|
||||
完成上述步骤将看到如下界面:
|
||||
|
||||

|
||||

|
||||
|
||||
### 步骤2:任务查看与结果管理
|
||||
|
||||
|
|
@ -473,9 +474,7 @@ PYTHON_BIN=/path/to/python bash scripts/build_fused_moe_i8_tn_pybind.sh
|
|||
* 任务失败:查看错误日志,常见原因包括代码不符合规范、测试用例错误、硬件适配问题,修改后重新提交任务;
|
||||
|
||||
* 排队时间长:可调整提交时间,或联系平台管理员确认资源状态。
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 七、Agent使用说明
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue