介绍一下DeepSpeed的关键配置参数及其含义。
考察说明
考察对DeepSpeed配置体系的理解及分布式训练实践深度
回答思路
- 能列举train_batch_size、train_micro_batch_size_per_gpu、gradient_accumulation_steps等基础参数
- 能解释ZeRO优化等级（stage 1/2/3）及其内存与通信权衡
- 能说明offload_optimizer、offload_param等参数含义及适用场景
- 能提及activation checkpointing、通信量压缩等优化参数