阿里巴巴面试题更新 2026-08-05

请估算 32B 参数模型全量微调和 LoRA 微调所需的显存量,并说明估算依据。

阿里巴巴人工智能电商问题拆解风险判断技术原理LoRA

考察说明

考察大模型微调显存估算能力和对不同微调方式开销的理解

回答思路

  1. 能区分模型权重、梯度、优化器状态和激活值的显存开销
  2. 能给出合理的全量微调显存估算公式或数值
  3. 能说明 LoRA 大幅降低可训练参数与优化器状态显存的原因
  4. 能指出激活值显存通常不可忽略
  5. 能说明估算的近似性和影响因素(如序列长度、batch size)