顶尖应届-具身大模型训练推理工程师-机器人事业部

优缺点分析

角色解读

• 可向具身智能大模型专家或分布式系统架构师方向发展，参与前沿模型研发
• 有机会接触大规模集群管理和跨团队协作，晋升为技术组长或项目经理
• 设计并实现具身大模型的分布式训练方案，包括数据并行、模型并行、专家并行等策略
• 推动混合精度训练和算子融合等性能优化，构建高效的数据流水线和分片策略
• 负责模型推理加速与部署，优化混合架构以提升吞吐量和生成质量
• 扎实的 Python/C++ 基础，熟悉 Linux 环境
• 深入理解 PyTorch 分布式训练，熟悉 FSDP、DeepSpeed 或 Megatron-LM 之一
• 理解 GPU/CPU/内存/网络原理，掌握 Transformer、Diffusion、MoE 等的性能瓶颈与优化方法

申请策略

• 面试前最好能复现一个小规模的分布式训练 demo，并思考如何优化性能
• 关注小米机器人事业部的技术博客或开源项目，了解其技术方向
• 突出分布式训练相关项目经验，如使用 DeepSpeed 或 Megatron 训练过大规模模型
• 展示对 Transformer、Diffusion 等模型结构的深入了解，以及性能优化实践经验
• 如有 CUDA/Triton kernel 开发或推理框架（TensorRT/ONNX）经验，务必强调
• 提前熟悉 FSDP、DeepSpeed 或 Megatron-LM 的源码和使用方法
• 补充学习混合精度训练（BF16/FP8）和算子融合（FlashAttention）的基本原理

面试指南

• 从原理出发：先说明基本概念和数学原理，再结合实际场景给出优化思路
• 用 STAR 法则描述项目经历：情境、任务、行动、结果，突出自己的贡献
• 遇到优化问题，分层思考：模型层（架构、算子）、系统层（通信、内存）、硬件层（GPU、带宽）
• 解释 PyTorch 分布式训练中 DP、DDP、FSDP 的区别和适用场景
• 谈谈如何优化 Transformer 的训练速度，从模型结构、算子、通信等方面
• 描述一个你使用过 or 设计过的分布式训练系统，遇到了什么挑战，如何解决？
• 混合精度训练中 BF16 和 FP16 的优缺点是什么？如何避免精度损失？
• 如果一个推理任务部署到线 latency 过高，你会从哪些方面排查和优化？