昇腾+鲲鹏联手上大招！华为爆改MoE训练，吞吐再飙升20%，内存省70%

最近，华为在MoE训练系统方面，给出了MoE训练算子和内存优化新方案：三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%。在通往更强大的AI路上，MoE已成为科技巨头另一个首选路径。只要Scaling Law没有失效，大模型的参数规模依旧不断扩大，由此AI智能水平