阿里巴巴面试题 · 方案权衡 · DeepSpeed
阿里巴巴相关面试题，按最终去重题目聚合。
共 2826 道真题 · 当前筛选命中 9 道 · 更新 2026-08-05
筛选题目已选：方案权衡 · DeepSpeed
考察点
技术栈
第 1 题DeepSpeed ZeRO-1/2/3之间有什么区别？请说明各阶段对显存占用的影响。 考察对分布式训练优化技术ZeRO分阶段原理及显存收益的理解第 2 题你了解DeepSpeed吗？请说明ZeRO-1、ZeRO-2和ZeRO-3分别做了哪些优化？ 考察对DeepSpeed ZeRO系列优化的理解与区分第 3 题介绍一下DeepSpeed的关键配置参数及其含义。 考察对DeepSpeed配置体系的理解及分布式训练实践深度第 4 题显存不够时，一般怎么解决，有哪些常见的优化方法？ 考察对深度学习训练显存优化的常见策略和工程实践能力第 5 题ZeRO-2和ZeRO-3是什么并行策略方式？ 考察对深度学习分布式训练中深层优化器状态和权重切分的理解第 6 题DeepSpeed 用过吗？分布式训练中如何提升效率？ 考察分布式训练框架理解与效率优化方法第 7 题DeepSpeed ZeRO-3 为什么比 ZeRO-2 更省显存？ 考察对 ZeRO 并行策略内存优化原理的理解第 8 题请解释 DeepSpeed 的原理，以及 ZeRO 的 stage 1、2、3 分别是怎么实现的？ 考察对大规模模型训练内存优化机制的理解第 9 题DeepSpeed 的三个阶段在分配参数时，单机 8 卡和双机 16 卡，每张卡上分配的参数量是一样的吗？为什么？ 考察对 DeepSpeed ZeRO 分片机制和集群规模对参数分配影响的理解