阿里巴巴面试题 · 问题拆解 · Transformer
阿里巴巴相关面试题，按最终去重题目聚合。
共 2826 道真题 · 当前筛选命中 12 道 · 更新 2026-08-05
筛选题目已选：问题拆解 · Transformer
考察点
技术栈
第 1 题在 ResNet 或 Transformer 中，残差连接的作用是什么？请展开说明。 考察对残差连接原理、作用及在典型架构中应用的理解深度第 2 题请实现多头自注意力机制。 考察对Transformer核心组件的理解与编码实现能力第 3 题请介绍Transformer模型中的注意力掩码类型及其计算流程，特别说明padding mask和causal mask的区别。 考察对Transformer注意力机制中掩码原理和整体计算逻辑的理解第 4 题请推导多头注意力中矩阵计算的维度变化，并说明其与单头注意力的计算量关系。 考察对注意力机制矩阵运算维度的精确推导能力第 5 题为什么注意力机制要除以根号 d_k？如果不缩放会怎样？ 考察对注意力分数缩放动机与数值稳定性的理解第 6 题请解释自回归语言模型如何生成下一个字。 考察对自回归生成过程的理解第 7 题你如何理解大模型具备强大语义理解能力的原因？ 考察对大模型技术原理的底层理解与表达能力第 8 题请解释Attention机制的计算公式，并分析其时间复杂度。 考察对Transformer核心注意力机制公式的理解及计算复杂度分析能力第 9 题请解释 Transformer 中 Attention 机制的作用。 考察对注意力机制核心思想与计算流程的理解第 10 题多头注意力机制为什么要使用多个头？ 考察对多头注意力机制设计动机和原理的理解第 11 题请概述自注意力机制从原始设计到现代优化的主要发展路线。 考察对Transformer核心机制演进脉络的理解与归纳能力第 12 题多模态大模型中的ViT，解释其原理以及它是如何训练的？ 考察对Vision Transformer（ViT）架构原理及其训练流程的理解