上海-大模型训练Infra研发工程师（基座研发方向）(J101257)

优缺点分析

角色解读

• 技术深钻：可向AI基础设施架构师方向发展，成为分布式训练、高性能计算领域的专家
• 横向拓展：可转向大模型算法或AI平台产品方向，结合工程经验理解业务需求
• 管理路线：随着团队规模扩大，可晋升为技术主管或经理，带领团队负责核心模块
• 负责文心大模型的训练优化，确保模型高效稳定地训练在超大规模集群上
• 开发飞桨分布式训练框架，提升框架的扩展性和性能，支持千卡级训练任务
• 探索前沿训练技术，如混合精度、模型并行、流水线并行等，推动算法与工程协同优化
• 建设和维护CI/CE系统，保障框架质量和大模型性能基线，提升团队研发效率
• 精通C++和Python，熟悉Linux开发环境，具备扎实的系统编程能力
• 深入理解至少一种深度学习框架（PaddlePaddle/PyTorch/TensorFlow），有框架开发或优化经验
• 熟悉CUDA编程和高性能优化技术，了解GPU架构和并行计算
• 了解分布式训练框架（如DeepSpeed、Megatron）和通信库（NCCL、MPI）

申请策略

• 关注百度飞桨开源社区，了解最新动态和技术方向，在面试中展示对框架的深入理解
• 准备一个关于大模型训练或分布式系统优化的技术案例，体现解决问题的能力
• 突出深度学习框架开发或优化经验，尤其是分布式训练相关的项目
• 强调C++/Python编程能力和高性能优化（如CUDA）的实战成果
• 展示对系统性能调优的理解，如通信优化、内存优化等
• 如果有开源贡献（如飞桨、PyTorch等），务必重点说明
• 系统学习CUDA编程和GPU架构，动手实践算子和通信优化
• 深入了解飞桨或PyTorch的分布式训练源码，理解数据并行、模型并行等机制

面试指南

• 对于性能优化问题，采用“问题-分析-方案-效果”的结构，先描述现象，再定位根因，给出具体优化手段，最后量化结果
• 对于框架对比问题，从设计哲学、支持特性、易用性、性能等维度系统比较，展现广度
• 对于技术实现问题，分步骤说明原理和关键点，避免过于抽象，结合实际代码或配置
• 请描述大规模分布式训练中遇到过的性能瓶颈，你是如何分析和解决的？
• 谈谈你对混合精度训练的理解，以及在你的项目中是如何实现的？
• 对比PaddlePaddle、PyTorch和TensorFlow在分布式训练上的设计差异
• 如何优化AllReduce通信效率？请结合NCCL或MPI说明
• 在CUDA编程中，如何优化kernel的occupancy？