训练与推理优化工程师-灵犀业务部

优缺点分析

角色解读

• 从训练优化工程师起步，可向分布式系统架构师或AI平台负责人方向发展
• 积累高性能计算和推理优化经验，可转向AI芯片或编译器优化领域
• 在具身智能领域深耕，成为机器人AI系统的核心专家
• 参与具身大模型分布式训练系统的建设，支持预训练、微调及强化学习任务
• 优化训练过程中的计算、通信、显存和数据加载效率，提升GPU利用率与训练稳定性
• 负责模型量化、算子优化和推理引擎适配，提升端侧推理性能
• 进行模型时延、吞吐、显存和功耗分析，定位并解决性能瓶颈
• 熟练掌握Python和C++，熟悉PyTorch等深度学习框架
• 熟悉DDP、FSDP、DeepSpeed、Megatron-LM等分布式训练技术
• 熟悉CUDA、TensorRT、vLLM、SGLang、Triton或模型量化技术
• 具备性能分析和优化能力，了解GPU架构和并行计算

申请策略

• 了解智元机器人的产品和技术方向，在面试中展示对具身智能的理解
• 准备一个完整的项目案例，展示从问题定义到性能优化的全过程
• 突出分布式训练或推理优化的项目经验，如使用DeepSpeed或FSDP进行大模型训练
• 强调竞赛或开源项目经历，如Kaggle、GitHub上的相关项目
• 展示对CUDA、TensorRT等技术的掌握程度，如有相关优化案例更佳
• 如有论文发表，务必列出，特别是机器学习、系统或高性能计算领域
• 提前熟悉分布式训练框架，如DeepSpeed、Megatron-LM，并尝试搭建小规模训练任务
• 学习CUDA编程和模型量化技术，了解推理引擎如vLLM、TensorRT的使用

面试指南

• 使用STAR法则（情境、任务、行动、结果）来回答项目经验问题，突出你的具体贡献和量化结果
• 对于技术问题，先解释基本概念，再结合项目实例说明应用场景和权衡
• 对于开放性问题，展示你的思考过程，从问题定义到解决方案的推导
• 请描述你如何优化一个分布式训练任务，具体使用了哪些技术？
• 解释FSDP和DeepSpeed的区别，以及如何选择？
• 如何对模型进行量化，并评估其对推理性能的影响？
• 描述一次你解决性能瓶颈的经历，你是如何定位和解决的？
• 你对具身智能大模型的训练和推理有什么理解？