人工智能面试题 · 技术原理 · DeepSpeed
人工智能相关岗位面试题。
共 11389 道真题 · 当前筛选命中 82 道 · 更新 2026-08-05
筛选题目已选：技术原理 · DeepSpeed
考察点
技术栈
第 61 题请详细介绍 DeepSpeed 的三阶段优化策略及其适用场景。 考察对 DeepSpeed ZeRO 优化原理的理解及工程选型能力第 62 题如果不用LoRA，直接全参数微调一个7B模型，需要多少显存？ 考察混合精度下全参数微调的显存估算能力第 63 题Agentic长文本训练时候容易OOM,你有什么好的优化吗? 考察大模型长文本训练的内存优化策略与工程实践第 64 题用过DeepSpeed等大模型训练框架吗？ 考察候选人实际使用大模型训练框架的经验深度和理解第 65 题SFT（监督微调）怎么做？有没有用什么加速训练的方法？ 考察对大模型监督微调流程和训练加速技术的掌握第 66 题请介绍DeepSpeed中并行训练的关键知识点，包括数据并行、模型并行、流水线并行和ZeRO等。 考察对深度学习分布式并行训练中DeepSpeed框架核心机制的理解第 67 题DeepSpeed ZeRO-3 为什么比 ZeRO-2 更省显存？ 考察对 ZeRO 并行策略内存优化原理的理解第 68 题讲讲DeepSpeed几个阶段，分别分片什么、代价是什么 考察对DeepSpeed ZeRO优化器各阶段分片策略及其通信和内存代价的理解第 69 题请解释ZeRO（零冗余优化器）的原理及其相对于传统数据并行的优势。 考察对大规模深度学习分布式训练中显存优化机制的理解第 70 题请解释 DeepSpeed 的原理，以及 ZeRO 的 stage 1、2、3 分别是怎么实现的？ 考察对大规模模型训练内存优化机制的理解第 71 题请解释DeepSpeed中ZeRO-1、ZeRO-2和ZeRO-3三种模式的核心区别，并说明各自适用的训练场景。 考察对ZeRO并行策略原理的理解和实际应用场景第 72 题询问除DeepSpeed外使用过的其他优化方法 考察对深度学习训练优化方法的了解与实战经验第 73 题DeepSpeed ZeRO 各阶段分别做了哪些优化？ 考察对分布式训练显存优化技术 ZeRO 各阶段原理的理解第 74 题你了解分布式训练吗？是否使用过 DeepSpeed？ 考察分布式训练基础与 DeepSpeed 的实际掌握程度第 75 题DeepSpeed 的三个阶段在分配参数时，单机 8 卡和双机 16 卡，每张卡上分配的参数量是一样的吗？为什么？ 考察对 DeepSpeed ZeRO 分片机制和集群规模对参数分配影响的理解第 76 题训练大模型的框架都有哪些呢？ 考察对深度学习框架及其在大模型训练场景中的适用性的了解第 77 题是否使用过DDP和DeepSpeed？请说明二者的区别。 考察对分布式训练框架的理解与实际使用经验第 78 题请说明 DeepSpeed ZeRO 的三种优化阶段（ZeRO-1、ZeRO-2、ZeRO-3）分别优化什么，并解释其工作原理。 考察对分布式训练中显存优化技术 DeepSpeed ZeRO 的理解深度第 79 题你了解 DeepSpeed 中ZeRO 分阶段的区别吗？ 考察对 DeepSpeed ZeRO 优化机制和显存优化原理的理解第 80 题模型训练过程中显存占用如何优化？DeepSpeed的原理是什么？ 考察模型训练显存优化和分布式训练框架原理