智能算法产品事业部-多模态大模型与Agent算法工程师（内容理解方向）-北京

优缺点分析

角色解读

• 技术专家路线：持续深耕多模态与Agent技术，成为在该细分领域有影响力的技术专家或研究员
• 架构师路线：向AI系统架构师发展，负责设计更复杂、可扩展的大模型应用系统架构
• 技术管理路线：带领算法团队，负责特定业务方向（如内容理解、智能Agent）的整体技术规划与落地
• 负责在电商场景下，对视觉语言模型（VLM）进行从预训练到对齐（RLHF/DPO等）的全流程训练与调优，以提升对商品图文内容的理解精度
• 设计并构建能够进行复杂任务规划、工具调用和多轮推理的智能Agent系统，用于解决复杂的内容标签判定问题
• 构建评测与奖励模型，通过强化学习持续优化Agent的决策效果，并推动算法能力产品化，服务于电商推荐等核心业务
• 扎实的深度学习与大模型理论基础，精通Transformer架构，并具备使用PyTorch进行模型训练与调优的丰富实战经验
• 对多模态大模型（如VLM、MLLM）的训练、微调与对齐技术（如RLHF、DPO）有深入理解与实践
• 具备将复杂算法问题转化为系统设计并独立完成工程落地的全链路能力
• 良好的系统设计与抽象能力，能够规划Agent的任务流程与交互逻辑

申请策略

• 仔细阅读JD中关于Agent系统设计的描述，思考如何将你的经验与该岗位需求相结合，在简历和面试中进行阐述
• 了解阿里巴巴淘天集团在AI和内容理解方面的公开技术分享或论文，以便在面试中展现你对业务和技术的思考
• 突出在多模态大模型（特别是VLM/MLLM）、强化学习（RLHF/DPO/PPO）或Agent系统方面的具体项目经验与成果
• 强调使用PyTorch进行大模型训练、调优的实战经历，以及解决具体问题的技术细节
• 展示独立负责或深度参与从算法设计到工程落地的完整项目经历，体现全链路能力
• 如有相关顶会论文或高质量开源项目，务必重点列出
• 系统学习并实践当前主流的多模态大模型（如LLaVA系列）训练与对齐技术，尝试在开源数据集上复现论文
• 深入研究Agent领域的经典范式（如ReAct）和强化学习算法（如PPO），并尝试搭建一个简单的Agent原型系统

面试指南

• 使用STAR法则（Situation, Task, Action, Result）清晰地描述项目背景、个人职责、具体行动和最终成果，重点突出技术决策和解决问题的思路
• 对于系统设计问题，先明确核心目标和约束条件，再分模块阐述设计思路（如感知、规划、执行、反馈），并考虑扩展性与鲁棒性
• 对于算法原理问题，不仅要说明概念，更要结合实际工程经验，阐述在不同场景下的优劣权衡和落地考量
• 请介绍一个你过去做过的最复杂的多模态大模型训练或优化项目，遇到了哪些技术难点，是如何解决的？
• 如果让你为一个电商内容理解任务设计一个Agent系统，你会如何进行任务规划和工具设计？请描述整体架构
• 你如何评估一个Agent在内容标签判定任务上的表现？你会设计哪些评测指标和奖励模型？
• 解释一下RLHF、DPO、GRPO这几种对齐方法的区别与联系
• 在实际工程中，你会如何选择？