多点数智
AI工程师-Agent模型优化与评估方向（武汉）
AI工程师-Agent模型优化与评估方向（武汉）
发布于 大约 2 个月前普通员工/个人贡献者
武汉市
无经验要求
全职员工
仅现场办公
本科
软件工程
PyTorch
LLM
SFT
数据合成
DPO
LoRA
AI 估算 · 15k–25k
AI Agent方向技术前沿，武汉校招薪资有竞争力，结合公司规模和岗位要求，预估月薪1.5-2.5万。
职位详情
关于这个职位
该职位专注于AI Agent的模型优化与评估，你将参与构建自动化评测基准、开发基于LLM的评估管线，并进行模型微调与数据合成
适合对LLM、Agent框架和模型对齐技术有浓厚兴趣的应届生，能深入接触前沿AI技术
最低要求
届本科及以上学历，计算机、数学、统计学等相关专业，熟悉 Python，熟练使用 Linux 开发环境
精通 PyTorch，熟练使用 Hugging Face 全家桶 (Transformers, Datasets, PEFT, TRL)
有过 LLM 微调经验 (SFT/LoRA)，了解 DeepSpeed/FSDP 等分布式训练基础者优先
了解或使用过 RAGAS, G-Eval, MT-Bench, 或者 LangChain 的评估模块
工作职责
Agent 评价体系构建 (Evaluation)：
构建针对 Agent 业务场景的自动化评测基准 (Benchmark)
开发基于 LLM-as-a-Judge 的评估管线，量化 Agent 的指令遵循能力 (Instruction Following)、逻辑推理能力 (Reasoning) 和工具调用准确率 (Tool Use)
设计并维护“幻觉”检测机制，确保输出的安全性与真实性
模型后训练与调优 (Post-training)：
负责基座模型（Base Model）在特定 Agent 场景下的 SFT (Supervised Fine-Tuning) 工作，规范模型的输出格式（如 JSON）和对话风格
探索 DPO (Direct Preference Optimization) 或 PPO 等对齐算法，优化模型的决策倾向，使其更符合人类或业务的偏好
负责 LoRA/QLoRA 等参数高效微调 (PEFT) 实验，在显存受限情况下优化模型性能
数据合成与清洗：
利用 GPT-4 等强模型构造高质量的合成数据 (Synthetic Data) 用于蒸馏或微调
清洗和构建用于评测的 Golden Dataset (金标数据集)
优先资格
加分项：操作过Agent 框架 (AutoGPT, MetaGPT, LangGraph)，理解 Agent 的 ReAct/CoT 思考过程
有数据合成 (Data Synthesis) 经验，如使用 Self-Instruct 方式生成数据
熟悉 DSPy (自动 Prompt 优化) 框架
AI 洞察
优缺点分析
优点
- 接触LLM和Agent最前沿技术，积累模型微调、对齐、评估等稀缺技能，行业需求旺盛
- 公司为多点Dmall，有实际业务场景，技术落地机会多，能快速积累实战经验
- 武汉作为新一线城市，生活成本相对较低，同时薪资有竞争力
- 技术栈要求高，需要同时掌握模型训练、评估、数据合成等多方面技能，学习曲线陡峭
- Agent领域仍在快速发展，技术迭代快，需要持续跟进最新论文和工具
缺点 / 挑战
- 作为校招岗位，可能面临较大的技术深度和项目交付压力
- 适合对LLM和Agent技术有强烈兴趣、具备扎实深度学习基础、喜欢挑战前沿技术的应届生
角色解读
- 从模型微调与评估入手，逐步深入Agent系统设计与优化，成为AI Agent领域的专家
- 可向算法专家或技术负责人方向发展，负责核心模型研发与团队指导
- 未来可拓展至多模态、强化学习等前沿方向，或转向AI产品与解决方案架构
- 构建Agent自动化评测基准，开发基于LLM-as-a-Judge的评估管线，量化Agent的指令遵循、推理和工具调用能力
- 负责基座模型在Agent场景下的SFT微调，规范输出格式和对话风格，探索DPO/PPO等对齐算法优化模型偏好
- 利用GPT-4等强模型构造合成数据，清洗并构建金标数据集，用于模型蒸馏或微调
- 精通Python和PyTorch，熟练使用Hugging Face全家桶（Transformers, Datasets, PEFT, TRL）
- 具备LLM微调经验（SFT/LoRA），了解分布式训练基础（DeepSpeed/FSDP）
- 了解Agent框架（如LangGraph）和评估工具（RAGAS, G-Eval等），有数据合成经验者优先
申请策略
- 关注多点Dmall在AI Agent方向的技术博客或开源项目，了解其业务场景和技术栈
- 准备一个完整的项目案例，展示从数据准备、模型微调到评估的全流程
- 突出LLM微调项目经验，包括SFT/LoRA的具体实践，以及使用的框架（如Hugging Face、DeepSpeed）
- 展示Agent相关项目，如使用AutoGPT、LangGraph等框架的实践，或ReAct/CoT思考过程的理解
- 强调数据合成或评估方面的经验，如构建过评测基准或使用过RAGAS、G-Eval等工具
- 提前学习DPO/PPO等对齐算法，并动手实现简单实验
- 熟悉LangChain或LangGraph框架，尝试搭建一个简单的Agent应用
- 了解数据合成方法（如Self-Instruct），并尝试用GPT-4生成微调数据
面试指南
- STAR法则：描述项目背景、任务、行动和结果，突出技术细节和量化成果
- 对比分析法：比较不同方法（如SFT vs DPO）的优劣，展示深入理解
- 结构化回答：先给出核心概念，再分点阐述，最后总结
- 请详细描述你做过的一个LLM微调项目，包括数据准备、模型选择、训练过程和效果评估
- 你如何理解Agent的ReAct/CoT思考过程？请举例说明
- 如何构建一个Agent评测基准？你会设计哪些评测指标？
- 解释DPO和PPO的区别，以及它们各自的适用场景
- 你用过哪些数据合成方法？如何保证合成数据的质量？
匹配度报告
70
综合匹配度
前沿AI Agent技术岗，技能成长极佳，薪资有竞争力，但WLB未知。
适合人群
最适合追求技术成长、对AI前沿充满热情的应届生，对工作生活平衡要求不高。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利70
成长发展95
工作生活50
使命价值65
薪资福利匹配
70中等
薪资预估在武汉校招中属于较高水平，但JD未明确福利，整体补偿性中等偏上。
薪资信号未披露（AI估算：15K-25K/月）
成长发展匹配
95较高
岗位涉及LLM、Agent、模型对齐等前沿技术，技能成长空间极大，发展性动机高度满足。
技术前沿前沿/新兴技术
技术栈Python、PyTorch、Hugging Face、LLM、SFT、LoRA、DPO、PPO、Agent、LangChain、数据合成
业务类型ambiguous
工作生活匹配
50较低
JD未提及工作模式、WLB或办公地点细节，无法判断，但技术岗通常有一定强度。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
65中等
AI Agent是高速增长赛道，但JD未强调社会价值或使命感，意义感中等。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
多点数智 的其他在招职位
相似职位推荐
Watch Jobs