阿里巴巴
AI Agent优化工程师-训练/数据/评测
AI Agent优化工程师-训练/数据/评测
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Llm
Pytorch
Rag
分布式训练
多模态Ai
强化学习
数据合成
评测体系
值不值得投
72综合评分
综合评分 72
技术驱动、前沿探索、发展优先的岗位，技术成长天花板高，但对自驱力和学习能力要求极高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
55K
比机器学习工程中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2600 个在招 · 其中机器学习工程 约 160 个
市场机会
选择面较广
杭州 · 机器学习工程 · 约 260 个在招
职位详情
关于这个职位
这是一个专注于AI Agent优化的工程师岗位，主要围绕真实业务场景，进行AI应用的系统化构建与优化
工作内容包括模型后训练、数据飞轮构建、评测体系设计、强化学习以及多模态应用开发，旨在将AI技术转化为驱动业务增长的引擎
最低要求
专业要求：计算机、数学、统计学等相关专业硕士/博士优先，优秀本科生不受限制
模型理解与优化：深入理解Transformer和主流LLM模型架构演进原理，对后训练算法有实操经验和深刻认知，拥有Agentic RL训练实操经验者优先
AI应用构建能力：掌握主流AI协议（MCP、Skills等）、记忆系统（Memory）、知识库（RAG），独立开发过具备一定影响力AI应用者优先
代码与工程能力：较强Python编程能力，熟练掌握Pytorch，了解大模型训练与推理框架（Megatron-LM、vLLM、DeepSpeed等），能高效处理分布式环境下的工程问题
数据构建能力：有很强的Data-centric AI的意识，精通后训练所需高质量数据挖掘与构造，具备合成数据（Synthetic Data）与动作轨迹（Trajectory）构建实操经验者优先
评测能力：拒绝盲目调参，能针对Agent任务设计科学的评测体系（LLM-as-a-Judge），能基于评测结果精准分析和定位问题，具备复杂多步任务的量化评估能力者优先
对新技术有近乎本能的渴望，能够独立阅读论文/技术报告等并快速复现，快速主动尝试落地先进开源项目，对主流AI开源项目有贡献者优先
工作职责
AI应用全生命周期演进：深度参与业务问题建模、应用架构设计、上下文工程、训练数据构建、自动化评估体系、模型后训练优化等
数据飞轮构建：打造高质量数据生产链路，探索合成数据（Synthetic Data）与高效蒸馏技术方案，跑通“业务-模型-反馈”迭代闭环
评测体系构建：面向业务目标，设计完备的AI应用效果评估体系，构建自动化评估框架，建立离线评估与在线业务指标联动的量化评估能力
强化学习与奖励机制设计：构建可工程化的Reward体系与RL训练环境，提升模型在垂直业务场景中的可控性与泛化能力
AI外部能力体系搭建：实现AI应用所需的知识库（RAG）、长短期记忆系统（Memory）、工具调用、多Agent协作框架等
多模态AI应用开发：构建AI应用的多模态感知与推理能力，解决在UI自动化、视觉理解与审核、多模态会话等场景的落地应用问题
优先资格
在AI顶会（ACL/EMNLP/ICLR/NeurIPS/ICML等）发表大模型评测、数据合成、Agent、RL相关一作或共一论文
知名大模型评测框架或高质量开源数据核心贡献者
极强的数学功底和逻辑分析能力，对高质量数据和评测有端到端闭环经验
AI 洞察
优缺点分析
优点
- 直接参与当前最前沿的AI Agent与大模型优化工作，技术成长空间极大
- 能接触到复杂真实业务场景，锻炼解决端到端问题的能力
- 在大型技术平台工作，有丰富的资源和数据支持
- AI领域技术迭代极快，需要持续学习、跟踪并复现最新论文与技术
- 适合对AI技术充满热情，不仅满足于调用API，更渴望深入理解模型原理并动手优化
- 具备扎实工程能力和数据思维
- 喜欢解决复杂技术问题并看到技术直接产生业务价值的求职者
缺点 / 挑战
- 工作内容紧密结合业务，对技术落地效果和业务指标有较高要求，可能压力较大
角色解读
- 技术专家路线：深耕AI Agent优化与评测，成为特定领域的技术权威
- 架构师路线：负责更宏观的AI应用架构设计与系统优化
- 技术管理路线：带领小团队，负责某个技术方向或业务线的AI能力建设
- 围绕业务场景，设计和实现端到端的AI应用优化方案，包括模型微调、数据构建和评测
- 构建自动化的数据生产与评估闭环，利用合成数据等技术提升模型迭代效率
- 设计并实现强化学习框架和奖励模型，以提升AI Agent在实际任务中的表现
- 开发多模态AI应用，如结合视觉和语言的理解与操作能力
- 对Transformer、LLM架构和后训练算法有深入理论理解和实战经验
- 精通Python、PyTorch，并熟悉主流大模型训练推理框架（如vLLM, DeepSpeed）
- 具备强大的数据工程能力，擅长设计数据闭环和高质量数据集构建
- 拥有科学的评测思维，能设计评测体系并利用LLM-as-Judge等方法分析问题
申请策略
- 仔细研究阿里巴巴在AI Agent、大模型方面的公开技术分享和开源项目（如通义千问），了解其技术栈和关注方向
- 在简历和面试中，强调你解决“工程化”问题的能力，而不仅仅是论文复现
- 突出任何与LLM、大模型优化、Agent开发相关的项目或研究经验
- 展示你的数据工程能力，例如设计数据清洗、标注、合成流水线，或构建评测数据集的经历
- 强调使用PyTorch、vLLM等工具进行模型训练、部署或优化的具体实践
- 如果有开源贡献、顶会论文或在评测框架方面的经验，务必重点列出
- 系统复习并实践强化学习（特别是RLHF）在LLM中的应用
- 深入学习并尝试使用最新的开源大模型评测框架（如OpenCompass、lm-evaluation-harness）
面试指南
- 采用“目标-方法-细节-结果”的框架
- 例如在回答评测问题时，先明确要评估什么能力，再说明选择的指标和评估方法（如LLM-as-Judge的具体Prompt设计），接着阐述构建自动化框架的技术选型，最后说明如何用评测结果指导优化
- 对于技术方案问题，要体现你的思考深度，从原理出发，比较不同方案的优劣，并结合实际场景（如数据规模、成本、实时性）做权衡
- 展示你的工程思维和解决问题的能力，强调你如何排查问题、设计实验、量化结果
- 请描述你如何为一个具体的Agent任务设计一套完整的自动化评测体系？
- 如何构建一个高质量的、用于模型后训练的合成数据集？你会关注哪些核心要素？
- 在模型推理优化（如vLLM）方面，你了解或实践过哪些关键技术？
- 如果让你设计一个奖励模型（Reward Model）来提升某个Agent任务的成功率，你会如何思考？
职位点评
薪资福利75
成长发展85
工作生活50
使命价值70
薪资福利
75中等
岗位来自已上市的行业巨头，通常能提供具有市场竞争力的薪酬包和完善的福利体系，对薪资和稳定性的满足度较高。
薪资信号市场水准 (40K-70K/月)
成长发展
85较高
岗位专注于大模型、Agent、强化学习等AI最前沿技术领域，技术挑战性高，能为候选人提供顶尖的技术成长平台和解决复杂问题的经验。
技术前沿前沿/新兴技术
技术栈LLM、Transformer、强化学习、RAG、合成数据、多模态AI、Agent、vLLM、PyTorch
业务类型profit_center
工作生活
50较低
JD未明确提及工作模式或WLB相关福利，作为AI核心技术研发岗位，可能需要投入较多时间跟进技术进展和解决复杂问题。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
岗位直接参与AI技术的应用与优化，能推动技术在业务中产生实际价值，但JD未明确阐述具体的业务使命或社会影响力。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs