北京-AI Infra工程师(J100730)

优缺点分析

角色解读

• 向AI系统架构师方向发展，主导大规模AI基础设施设计
• 深入底层优化，成为GPU/NPU计算专家或编译器优化专家
• 转向技术管理或技术专家路线，带领团队攻克技术难题
• 负责大模型训练/推理基础设施的设计与优化，包括分布式训练框架、推理引擎、模型压缩部署
• 深入优化计算效率，探索混合精度、量化（INT8/FP16）、KV Cache等技术的工程实践
• 与算法团队协作，推动大模型在异构硬件（GPU/NPU）上的高效运行
• 参与AI系统架构设计，提升训练和推理的吞吐量与稳定性
• 熟悉分布式系统与并行计算，有CUDA编程或高性能计算经验
• 掌握C++/Python，有深度学习框架（PyTorch/PaddlePaddle）使用经验
• 理解模型量化、推理优化、显存管理等技术原理
• 具备大模型训练/推理系统相关项目或实习经历

申请策略

• 关注百度AI系统部（如百度飞桨）的研究方向，提前了解团队技术栈
• 准备一个完整的优化案例，从问题分析到方案实施再到效果评估
• 突出分布式训练/推理系统项目经验，展示性能优化成果
• 详细描述CUDA编程或高性能计算相关实践，如算子优化、显存管理
• 强调对模型量化、混合精度等技术的理解与应用
• 深入学习CUDA/XLA优化，了解GPU/NPU架构细节
• 阅读Megatron-LM、DeepSpeed等开源框架源码，掌握分布式训练原理

面试指南

• 先阐述相关原理（如通信拓扑、精度缩放），再结合工程实践举例（如使用Megatron-LM的分区策略），最后总结优化效果和trade-off
• 如何优化大模型训练吞吐量？请结合分布式训练框架说明
• 解释混合精度训练的原理及工程实现要点
• 模型量化有哪些方法？INT8量化对精度影响如何？
• 分布式训练中AllReduce的实现方式有哪些？如何选择？
• 在显存不足的情况下，有哪些优化策略？
• 复习分布式系统和并行计算基础，包括MPI、NCCL等
• 准备一个完整的GPU优化案例，如通过算子融合减少kernel launch