大模型推理失败时，如何保证后端返回正确结果？

Question

Accepted Answer

考察点：考察对大模型推理失败场景的处理策略、降级机制和结果可靠性保障。回答思路：识别推理失败类型：超时、异常、空输出、格式错误 设计重试、降级、超时熔断机制 保证返回结果的确定性与可追溯性 结合业务场景处理部分失败与用户反馈

考察说明