蚂蚁集团-多模态大模型RL及infra技术专家-杭州/北京【AGI专项】

优缺点分析

角色解读

• 可向大模型系统架构师或AI平台技术负责人方向发展，成为分布式训练领域的专家
• 可在多模态和RL方向持续深耕，未来转向AGI研究或工程管理岗位
• 蚂蚁集团内部技术晋升通道清晰，有机会参与核心专项，提升行业内影响力
• 负责大模型分布式训练框架（如MegatronLM）和推理框架（如sglang/vllm）的性能优化，提升大规模训练和推理效率
• 深度参与多模态大模型研发，设计基于MoE的模型架构，并与训练推理框架协同优化
• 推动千亿级参数模型的高效训练，解决分布式调度、通信瓶颈等底层系统问题
• 结合RL算法（如GRPO/PPO/DPO），优化模型训练流程，支持强化学习在业务场景落地
• 深入理解Transformer/MoE等大模型结构原理，掌握分布式调度和并行计算核心知识
• 熟悉至少一种主流训推框架，如MegatronLM、vllm、sglang，并能进行底层优化
• 具备高性能软硬件架构知识，如GPU集群、NVLink、RDMA等，能针对硬件特点调优
• 具备扎实的编程能力（如Python/C++）和系统调优经验，熟悉Linux环境

申请策略

• 了解蚂蚁集团AGI专项的业务方向，面试中展现对多模态大模型落地的思考
• 准备系统设计和高性能计算的案例，展示解决复杂问题的能力
• 突出分布式训练或推理框架的优化经验，例如基于MegatronLM或vllm的性能提升成果
• 展示参与大规模模型训练的实际项目，明确模型规模、硬件配置和性能指标改进
• 如有RL（PPO/DPO）或多模态项目经验，务必重点强调
• 提前研究sglang、vllm、MegatronLM的源码和机制，了解PagedAttention、MoE实现等细节
• 学习MoE架构和RLHF流程，熟悉至少一种强化学习框架（如AReaL/veRL）

面试指南

• 采用STAR法则回答项目经历：描述情境、任务、行动和量化结果
• 技术问题先阐述原理，再结合实践经验给出具体方案，强调权衡和取舍
• 对于开放性问题，展示结构化的思考路径，从问题定义到分步解决
• 如何优化大模型训练中的通信瓶颈？请结合具体场景说明
• 介绍你参与过的分布式训练项目，遇到的最大技术挑战是什么？如何解决的？
• MoE模型在推理时存在负载均衡问题，你有哪些解决方案？
• PPO和DPO在RLHF中有什么区别？实际应用中你更倾向哪种方法？
• 如何设计一个多模态大模型的训练pipeline，确保稳定性和效率？