蚂蚁数字科技-数科技术部-大模型强化学习研发专家

优缺点分析

角色解读

• 纵向深化：成为大模型训练/推理基础设施领域的顶尖专家，主导核心框架设计与优化
• 横向拓展：向 AI 系统架构师方向发展，覆盖更多 AI 基础设施（如推理平台、训练平台）
• 管理路径：未来可带领团队负责整个 AI 训练/推理框架的研发和落地
• 设计和实现高性能强化学习框架，优化分布式训练和推理的加速策略、显存管理、算子融合等底层技术
• 与算法工程师协作，针对大模型强化学习训练和推理场景进行端到端性能分析和优化，提升训练效率和推理速度
• 探索和集成最新的模型量化、混合精度、异构硬件加速等技术，满足大规模 Agent 训练的性能需求
• 精通大模型训练框架（如 Megatron-LM、DeepSpeed）或分布式推理框架（如 SGLang、vLLM），能进行二次开发
• 熟悉强化学习框架（如 AReaL、veRL、Slime）和 RL 训练流程，有实际优化经验
• 具备系统性能分析能力，包括显存优化、通信效率提升、算子融合等底层优化技能
• 对 Agent 工程或 AI Coding Agent 工具有一定了解，能配合算法团队完成端到端优化

申请策略

• 建议提前了解蚂蚁数科的业务方向（如金融、Agent），在面试中展示对业务场景的理解和适配
• 准备一个完整的技术案例，从问题分析、方案设计到性能提升效果，体现系统化思维
• 突出在大模型训练/推理框架（如 Megatron、DeepSpeed、vLLM）上的具体贡献，例如性能优化案例、代码贡献或核心模块设计
• 强调强化学习框架的实践经验，包括使用 AReaL、veRL 等框架进行训练或优化的项目
• 展示分布式系统性能优化能力，如显存管理、通信加速、算子融合等方面的成果
• 列出参与的大模型相关项目，尤其是涉及 Agent 或 AI Coding 的场景，体现技术广度
• 补充或加深对主流强化学习框架（如 veRL、AReaL）的源码理解和二次开发能力
• 学习高性能计算优化技巧，如 CUDA 编程、算子融合、混合精度训练等

面试指南

• 对于技术实现问题，采用 STAR 法则：先说明背景和目标，然后描述具体方案和技术选型，再展示量化结果和对比，最后总结经验和教训
• 对于设计类问题，从需求出发，先分析关键约束（如性能、可扩展性、易用性），再给出分层设计或模块划分，最后讨论 trade-off
• 请详细描述你在大模型分布式训练框架上的优化经验，具体解决了哪些性能瓶颈？
• 你如何在训练和推理中优化显存使用？请举例说明
• 请谈谈对 RLHF 或强化学习训练流程的理解，以及在大规模场景下的挑战
• 假如需要设计一个支持大规模 Agent 训练的强化学习框架，你会考虑哪些关键设计？
• 你如何评估和选择不同的分布式策略（如数据并行、模型并行、流水线并行）？
• 复习 Megatron-LM 和 DeepSpeed 的论文及源码，特别是分布式策略和显存优化部分