专业服务行业面试题 · Transformer
专业服务行业相关面试题，按题目行业基础数据聚合。
共 27579 道真题 · 当前筛选命中 136 道 · 更新 2026-08-05
筛选题目已选：Transformer
考察点
技术栈
第 61 题详细讲讲 Transformer，Self-Attention 中 QKV 的数学公式，以及你如何理解 QKV。 考察对 Transformer 核心架构和自注意力机制数学原理的理解深度第 62 题讲解FT-Transformer原理 考察对特征嵌入与Transformer结合机制的理解第 63 题从原理角度，DeepSeek 在推理效率和成本控制上做了哪些优化？ 考察对大模型工程优化手段（如 MoE、量化、蒸馏）的理解第 64 题Transformer 的基本结构是怎样的？ 考察对Transformer架构核心组件及其作用的理解第 65 题Transformer的自注意力机制是如何实现的？请说明Q、K、V的计算方式以及相关参数的初始化方法。 考察对Transformer自注意力机制的理解深度，包括QKV计算流程和初始化细节第 66 题相比 CNN 和 RNN，Transformer 结构有哪些优势？请说明核心原因。 考察对 Transformer 架构优势及其内在机制的理解第 67 题softmax缩放因子为什么是根号d而不是其他数？ 考察对缩放因子推导逻辑和边界条件理解第 68 题请介绍一下 TIGER 模型。 考察对用户行为序列建模模型 TIGER 的理解第 69 题与原始 Transformer 相比，你在自己的工作中做了哪些改进？请说明动机、具体做法和效果。 考察候选人对 Transformer 的深入理解及实际工程中的改进能力第 70 题说一下大模型常用的位置编码有哪些，各有什么优缺点 考察对Transformer位置编码方案的原理理解与工程取舍第 71 题请介绍一下 DETR 中位置编码的作用。 考察对 Transformer 位置编码原理及其在目标检测中应用的理解第 72 题请介绍你在GPT、ViT或Transformer相关项目中的具体工作。 考察对Transformer架构相关项目的理解深度和实际落地能力第 73 题请介绍 Transformer 的整体架构及其关键设计点。 考察对 Transformer 核心组件、设计动机与计算流程的理解第 74 题Transformer相比LSTM的核心区别有哪些？请从序列建模方式、并行性和长期依赖处理等方面说明。 考察对Transformer与LSTM差异的理解，以及技术选型意识第 75 题在序列建模任务中，你会从哪些方面考虑效率优化？请结合具体技术手段说明。 考察对序列模型计算瓶颈的认识及工程优化能力第 76 题使用 KV Cache 之后，效果与改进前相比有什么变化？请分析。 考察对 KV Cache 作用、效果与代价的理解第 77 题大模型训练和推理中常用的位置编码方案有哪些？请分别说明每种编码方式的优势、局限性及适用模型。 考察对位置编码原理、演进和适用场景的深入理解第 78 题GPT和BERT的区别 考察对两大预训练模型架构与任务范式差异的理解第 79 题自注意力机制中为什么要除以根号 dk？ 考察对自注意力缩放因子的数学原理与作用的理解第 80 题Transformer中encoder和decoder的区别是什么？ 考察对Transformer架构核心组件功能与差异的理解