MoE
MoE（Mixture of Experts）通过路由机制分配计算给不同专家模块；稀疏 MoE 通常只为每个词元激活其中一部分专家。
如何理解
在常见 Transformer MoE 中，部分前馈层被多个专家网络替代，路由器决定当前词元使用哪些专家。总参数量和一次处理实际激活的参数量因此需要分别看待。
稀疏激活可以减少相对于同等总参数稠密模型的计算，但全部专家仍需要存储。专家负载不均和跨设备通信也会影响效率。
容易混淆的地方
专家是网络模块，不等于分别负责法律、医学等职业领域的独立聊天机器人；模块专长由训练形成。