FrRay
/
op_optimization
forked from metax-maca/op_optimization
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

图片路径更改

This commit is contained in:
wu_xy 2026-06-05 14:36:18 +08:00
parent 386069526a
commit fd6540c9bf
1 changed files with 1 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
基于AI Agent开发范式的国产GPU大模型推理算子库优化/赛题说明.md
View File

@ -43,7 +43,7 @@ MoE 是一种基于 Transformer 架构的模型，由两个关键部分组成
* **门控网络或路由**：这个部分用于决定哪些令牌 (token) 被发送到哪个专家。例如，在下图中，“More”这个令牌可能被发送到第二个专家，而“Parameters”这个令牌被发送到第一个专家。有时，一个令牌甚至可以被发送到多个专家。令牌的路由方式是 MoE 使用中的一个关键点，因为路由器由学习的参数组成，并且与网络的其他部分一同进行预训练。
![image.png](https://alidocs.oss-cn-zhangjiakou.aliyuncs.com/res/r4mlQ5b7084Ndlxo/img/fe41ddaa-b2b2-4b30-bcdb-452c3ecfb138.png)
![image.png](https://origin.picgo.net/2026/06/04/image552fe46f30dca5fb8.png)
MoE 的主要优势体现在预训练和训练阶段的算力效率上，但在推理阶段带来了新的**挑战**：