AI工程师-Agent模型优化与评估方向（北京）

优缺点分析

角色解读

• 从Agent评估与微调工程师起步，逐步成长为AI模型优化专家，主导核心模型迭代
• 向AI Agent架构师方向发展，负责复杂多Agent系统的设计与落地
• 横向拓展至自然语言处理、计算机视觉等其他AI领域，或转向AI产品经理等复合角色
• 构建Agent自动化评测基准，开发基于LLM的评估管线，量化模型在指令遵循、推理和工具调用上的表现
• 负责基座模型在Agent场景下的监督微调（SFT），规范输出格式和对话风格
• 探索DPO/PPO等对齐算法优化模型决策倾向，并利用LoRA等技术进行参数高效微调
• 利用GPT-4等强模型构造合成数据，清洗并构建金标评测数据集
• 精通Python和PyTorch，熟练使用Hugging Face全家桶（Transformers、Datasets、PEFT、TRL）
• 具备LLM微调经验（SFT/LoRA），了解分布式训练基础（DeepSpeed/FSDP）
• 熟悉Agent框架（如AutoGPT、LangGraph）和评估工具（RAGAS、G-Eval等）
• 了解数据合成方法（如Self-Instruct）和自动Prompt优化框架（DSPy）

申请策略

• 关注多点数智的零售业务场景，思考AI Agent如何赋能零售（如智能客服、库存管理），在面试中展现业务理解
• 准备一个完整的Agent微调或评估项目案例，从问题定义、方案设计到结果分析，体现系统性思维
• 突出LLM微调项目经验，包括SFT/LoRA的具体实验细节和效果提升
• 展示使用Hugging Face、PyTorch等工具的实际项目，强调分布式训练经验
• 如有Agent框架（AutoGPT等）或评估工具（RAGAS）的使用经历，务必详细描述
• 强调数据合成或清洗经验，尤其是利用GPT-4等模型生成高质量数据的案例
• 提前学习DPO/PPO等对齐算法原理，并尝试在小型模型上复现
• 熟悉LangChain和LangGraph框架，动手搭建一个简单的Agent应用

面试指南

• 对于技术实现类问题，采用STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)，突出技术细节和量化成果
• 对于设计类问题，先明确目标，再分步骤阐述方案，最后讨论权衡和备选方案，体现系统性思考
• 对于对比类问题，从原理、适用场景、优缺点等维度展开，展现知识广度
• 请描述一次你使用SFT/LoRA微调LLM的经历，遇到了哪些挑战？如何解决的？
• 如何设计一个Agent的自动化评测基准？你会选择哪些指标？
• 解释DPO和PPO的区别，以及它们在模型对齐中的应用场景
• 如何检测和减少LLM的幻觉？请给出具体方法
• 你了解哪些Agent框架？请比较AutoGPT和LangGraph的异同