字节跳动面试题 · 技术原理 · tech:deepspeed
字节跳动相关面试题，按最终去重题目聚合。
共 3252 道真题 · 当前筛选命中 7 道 · 更新 2026-08-05
筛选题目已选：技术原理 · tech:deepspeed
考察点
技术栈
第 1 题你了解 DeepSpeed 吗？它主要解决什么问题？ 考察对 DeepSpeed 的认知及其在大模型训练中的定位第 2 题你了解哪些大模型训练和推理优化的方法？ 考察对模型训练与推理阶段常见优化手段的理解广度与深度第 3 题为什么 DeepSpeed ZeRO-3 不适合直接用于模型训练？ 考察对 ZeRO-3 机制、训练特性与显存/通信开销的理解第 4 题DeepSpeed里面流水线并行是怎么优化复杂度的？ 考察对流水线并行调度策略与显存优化的理解第 5 题你提到用DeepSpeed做SFT训练，请讲一下DeepSpeed ZeRO Stage1-3的区别，以及什么时候用FSDP会更好？ 考察对分布式训练显存优化技术的理解与选型能力第 6 题讲讲DeepSpeed几个阶段，分别分片什么、代价是什么 考察对DeepSpeed ZeRO优化器各阶段分片策略及其通信和内存代价的理解第 7 题DeepSpeed 与 Megatron 在分布式训练中的区别是什么？ 考察候选人对主流大模型分布式训练框架的对比理解