上海-AI Infra工程师(J100732)

优缺点分析

角色解读

• 成为AI基础设施领域的技术专家，主导核心系统设计
• 向系统架构师发展，负责整体技术方案和团队技术规划
• 转型为技术Leader或AI系统研究员，推动前沿技术创新
• 设计和优化大模型训练与推理基础设施，包括分布式训练框架和推理引擎
• 探索混合精度、量化等高效计算技术，提升模型运行效率
• 与算法团队协作，确保大模型在GPU/NPU等异构硬件上高效运行
• 参与系统架构设计，提升吞吐量和稳定性
• 深入理解分布式系统与并行计算，具备CUDA编程或高性能计算经验
• 精通C++/Python，熟练使用PyTorch或PaddlePaddle等深度学习框架
• 掌握模型量化、推理优化、显存管理等技术原理
• 有大型模型训练或推理系统的实际项目经验

申请策略

• 关注百度AI Infra开源项目（如PaddlePaddle、Baidu AI Studio），尝试贡献代码或文档
• 准备一个端到端的AI系统优化案例分析，展示系统性思维
• 突出分布式训练或推理系统的实际项目经验，量化性能提升数据
• 强调CUDA优化或高性能计算相关成果，如算子融合、显存优化等
• 展示对PyTorch或PaddlePaddle框架的深入理解和使用经验
• 深入学习CUDA编程和GPU架构，掌握性能调优工具（如Nsight）
• 熟悉主流推理框架（TensorRT、vLLM）和模型压缩工具
• 了解最新模型架构（如MoE）对基础设施的影响

面试指南

• 从理论原理出发，结合具体项目经验，给出优化方案并分析trade-off
• 采用STAR方法（情境、任务、行动、结果）回答问题，突出量化成果
• 展示系统性思考，考虑扩展性、稳定性和工程落地的挑战
• 解释Transformer模型的计算瓶颈有哪些？如何优化？
• 设计一个分布式训练策略，说明数据并行、模型并行、流水线并行的适用场景
• 描述一次你优化CUDA kernel的经历，遇到了什么问题，如何解决？
• 模型量化有哪几种方法？它们的优缺点是什么？
• 如何处理大模型训练中的显存不足问题？