VLA训练infra算法工程师 - XiaomiRobotics

优缺点分析

角色解读

• 从训练框架工程师向AI基础设施架构师发展，主导大规模训练平台的架构设计
• 深入VLA和机器人领域，成为模型训练与算法协同优化的复合型专家
• 有机会在小米Robotics团队中快速成长，参与前沿技术研究和落地，未来可向技术管理或首席工程师方向发展
• 设计和实现VLA模型的分布式训练框架，涵盖数据并行、张量并行、流水线并行和MoE等策略，确保训练高效稳定
• 优化混合精度训练（BF16/FP8）并融合算子，利用FlashAttention和自定义Triton kernel提升计算效率
• 构建高吞吐数据pipeline，设计合理的数据格式和分片策略，解决大规模数据加载瓶颈
• 搭建实验追踪和管理系统，支持大规模实验的指标可视化与结果分析
• 扎实的Python/C++编程能力，熟悉Linux环境，能高效开发和调试
• 深入理解PyTorch分布式训练机制，至少精通FSDP、DeepSpeed或Megatron中的一种
• 熟悉GPU/CPU/内存/网络体系结构，能识别和优化分布式训练中的性能瓶颈
• 具备大规模训练经验，了解NCCL、RDMA、InfiniBand等通信优化的优先

申请策略

• 在申请时展示你对VLA和机器人行业的理解，比如关注哪些模型和数据集，并说明你的训练方案如何适配
• 如果可能，准备一个能展示你训练优化成果的Portfolio（如GitHub、技术博客），比单纯罗列技能更有说服力
• 突出大规模训练项目的经历，明确说明你负责的分布式方案（如DP/TP/PP）和实际效果（如吞吐提升、成本降低）
• 展示对PyTorch底层机制的掌握，如自定义autograd.Function、通信原语、显存优化等
• 强调对GPU硬件特性的理解，比如CUDA内核优化、NCCL调优、混合精度训练经验
• 如果有VLA、多模态或机器人相关项目，务必放在显眼位置，这部分高度契合岗位需求
• 系统学习DeepSpeed/FSDP的源码，理解ZeRO、Offload等机制，并动手实践一个分布式训练示例
• 了解FlashAttention和Triton的编程模型，尝试编写简单算子并集成到训练流程

面试指南

• 使用STAR法则：情境-任务-行动-结果，具体说明你的贡献和量化收益
• 先阐述核心概念，再对比不同方案，最后给出你的判断依据，体现系统思维
• 遇到不熟悉的问题时，可以说明你的分析思路和可能解决路径，展示解决问题的能力
• 请详细描述你过去负责的一个大规模分布式训练项目，包括架构设计、遇到的瓶颈和解决方案
• FSDP和DeepSpeed ZeRO-3的区别是什么？各自适用什么场景？
• 在大规模训练中如何调试NCCL通信瓶颈？你使用过哪些工具和方法？
• 混合精度训练（如FP8）相比BF16有哪些挑战？如何保证训练稳定性？
• 如果让你为VLA模型设计一个训练pipeline，你会重点关注哪些方面？