蚂蚁集团-蚂蚁技术研究院-LLM系统工程师

优缺点分析

角色解读

• 技术深耕：成为LLM系统方向的专家，引领训练推理架构创新
• 架构师路线：转向系统架构设计，负责大规模分布式系统的架构与优化
• 技术管理：积累经验后带领团队，负责系统方向的团队管理与技术决策
• 研发Diffusion LLM高效训练与推理框架，实现推理性能大幅提升
• 与算法研究员合作，通过算法-系统协同设计加速LLM训练和推理
• 优化关键算子与分布式并行策略，降低LLM训练与推理成本
• 开发自动化优化框架，提升算法研究人员的开发效率和系统性能
• 精通Transformer/MoE等大模型结构，熟悉sglang、vllm、megatron等框架
• 具备系统级编程能力（如C++/CUDA），熟悉分布式并行计算原理
• 较强的学习能力和团队沟通能力，能够与算法团队紧密协作
• 有AI系统或分布式计算领域至少3年开发经验

申请策略

• 在简历中突出你对LLM系统效率瓶颈的见解和解决方案
• 展现你对蚂蚁技术研究院的关注，了解其研究方向
• 重点突出AI系统或分布式计算项目经验，尤其是与LLM相关的训练推理优化
• 展示对sglang、vllm、megatron等框架的深入理解和实际应用
• 强调性能优化成果（如加速比、成本降低等），用数据说话
• 体现跨团队合作经历和解决问题的能力
• 深入学习CUDA编程和GPU优化技巧，掌握分布式训练框架原理
• 熟悉LLM最新架构（如Mamba、Diffusion LLM）和推理优化技术

面试指南

• 使用STAR方法（Situation, Task, Action, Result）回答项目经验问题，突出个人贡献和成果
• 对于系统设计问题，先澄清需求，再给出架构方案，阐述关键权衡
• 对于算法理解问题，从基本原理出发，对比不同方案的优缺点
• 如何优化Transformer模型的推理速度？请具体说明
• 请解释Megatron-LM的分布式并行策略，并比较流水线并行和模型并行
• 你在之前的项目中如何解决LLM训练显存不足的问题？
• 如果让你设计一个自动化算子优化框架，你会考虑哪些方面？
• 如何评价Diffusion LLM与传统自回归LLM在推理效率上的差异？