大模型算法工程师、大模型 Agent 开发工程师面试常见题目和答案
整理了自己在2025年年中，面试国内大厂、国企的大模型算法工程师、大模型 Agent 开发工程师等岗位遇到的常见面试考点。
答案主要由 Poe 平台上的 Gemini-2.5-Pro 或 GPT-4o 生成，部分答案参考了知乎。
-
大语言模型开发各阶段
大语言模型开发各阶段 -
模型微调和通用能力
模型微调和通用能力 -
Tokenizer, BPE, WordPiece, SentencePiece
Tokenizer, BPE, WordPiece, SentencePiece -
Activation Functions
Activation Functions -
Optimizers
Optimizers -
反向传播
反向传播 -
BERT, MLM, NSP
BERT, MLM, NSP -
损失函数和常见评估指标
损失函数和常见评估指标
指令微调损失函数 -
KL Divergence
KL Divergence -
增量预训练（Continual Pretraining）
增量预训练 -
课程学习
课程学习
-
Transformer
Transformer 1 Transformer 2 -
Attention
Attention -
MHA, MQA, GQA, MLA
MHA, MQA, GQA, MLA -
Encoder, Decoder, Encoder-Decoder
Encoder, Decoder, Encoder-Decoder -
Position Encoding
Position Encoding 1
Position Encoding 2 -
Normalization
Normalization, BatchNorm, LayerNorm
-
PPO, DPO, GRPO
PPO, DPO, GRPO 1
PPO, DPO, GRPO 2 -
REINFORCE, REINFORCE++
REINFORCE, REINFORCE++ 1
REINFORCE, REINFORCE++ 2
REINFORCE, REINFORCE++ 3 -
GRPO 损失函数
GRPO 损失函数 -
RL 显存占用
RL 显存占用
-
Function Call & MCP
Function Call & MCP -
上下文工程
上下文工程 -
Tool Use
Tool Use -
ReAct 论文
ReAct 论文
-
并行训练
数据并行，模型并行，混合并行 -
LoRA
LoRA -
其他参数高效微调（PEFT）
参数高效微调（PEFT） -
混合精度训练
混合精度训练
-
剪枝 (Pruning)
剪枝 -
知识蒸馏
知识蒸馏 -
量化
量化 -
混合专家 (MoE)
Mixture of Experts (MoE) -
参数共享
参数共享
-
复现 DeepSeek R1，开发 Deep Research 等
复现 DeepSeek R1，开发 Deep Research 等 -
DeepSeek R1 和 V3 的贡献
DeepSeek R1 和 V3 的贡献 -
DeepSeek R1 和 Kimi 1.5 对比
DeepSeek R1 和 Kimi 1.5 对比 -
大模型 SFT 实践落地
大模型 SFT 实践落地
- 数据获取：训练数据集和测试数据集是如何获取的？
- 指令微调数据格式：在特定的训练框架下，指令微调数据集需要遵循什么样的格式？
- 强化学习数据格式：在特定的训练框架下，强化学习（如 GRPO）的数据集需要遵循什么样的格式？
- 过拟合：在项目中遇到过哪些过拟合现象？具体是如何分析和解决的？
- 泛化性：采用了哪些方法来增强模型的泛化能力？
- 损失函数：是否尝试过修改或自定义损失函数？为什么？效果如何？
- 奖励函数设计：在强化学习任务中，你是如何设计基于规则的奖励函数的？
- 评测体系：如何构建测试数据集和设计评测指标？
- 效果评估：如何对项目的整体效果进行综合评测？
- 落地挑战：你认为大模型在实际业务中难以落地的主要原因有哪些？对应的解决方法是什么？
- 落地经验：分享一次你成功或失败的落地经验。