我要招人

阿里巴巴面试题更新 2026-08-05

大模型的MoE结构相比于Dense结构，训练难点主要有哪些？

阿里巴巴人工智能电商问题拆解技术原理

考察说明

考察对MoE与Dense架构差异及训练挑战的理解

回答思路

  1. 指出MoE引入路由与专家负载不均衡问题
  2. 说明专家利用率低、通信开销大的影响
  3. 提及训练稳定性、收敛性问题（如router震荡）
  4. 能结合优化策略（负载均衡loss、辅助loss等）