超参数科技面试题 · BERT
超参数科技相关面试题，按最终去重题目聚合。
共 140 道真题 · 当前筛选命中 6 道 · 更新 2026-08-05
筛选题目已选：BERT
考察点
技术栈
第 1 题BERT中使用的Normalization是Layer Normalization，请说明Layer Normalization（LN）与Batch Normalization（BN）的核心区别是什么？ 考察对LN与BN在原理、计算范围及适用场景上差异的理解第 2 题在图文匹配任务中，除了常用的对比学习损失，还有哪些有效的辅助损失或训练策略？ 考察对多模态匹配任务中多种损失函数与训练策略的理解和运用第 3 题BERT一层encoder的transformer block包含了哪些元素，或者说算子是如何forward的？ 考察对Transformer编码器内部结构和前向计算流程的掌握程度第 4 题BERT 训练时通常使用哪种优化器？ 考察对 Transformer 预训练常用优化器的掌握第 5 题为什么在文本任务（如Transformer/BERT）中通常选择Layer Normalization（LN）而不是Batch Normalization（BN）？ 考察对文本与图像数据特性差异对归一化选择影响的理解第 6 题多模态任务中，BERT的文本输入和图片输入分别是如何处理的？ 考察对多模态模型输入预处理流程的理解，包括文本词向量与图像特征提取的差异