公众号：系统之神与我同在
FastMoE开源分布式MoE模型训练系统
本文分为三部分：
回顾MOE的发展历程
FastMOE的框架设计
FastMOE v0.2的特性
预训练模型的发展趋势:规模越来越大
MOE结构：扩充模型容量的新途径训
MoE的发展历史
图解（巧妙地运用数据并行来构建MOE专家池）解
图解（T5+MoE）
MOE模型研究前沿
使用pytorch和MoE训练您的MOE网络
FastMoE的并行模式
FastMOE的实战成果
FastMOE v0.2 开源分布式MOE模型训练系统 FastMOE v0.2 新特性
图解（一个专家干活多个专家围观）
MOE训练时负载均衡情况
负载均衡模
同时支持 英伟达GPU平台 和 神威国产超算平台
FastMoE实战1.75亿大规模训练
FastMOE v0.2 其他新特性
展望
支持和探索更火负载均衡策略（如FAIR提出的BASE）
探索更大规模（十万亿、百万亿）的训练
MOE Benchmark,不同MOE算法在模型性能上的差异
FastMOE已经成功部署，助力和加速超速大规模预训练模型M6
