深圳-AI Infra工程师(J100735)

优缺点分析

角色解读

• 可向AI系统架构专家或技术Leader方向发展，负责更大规模的训练/推理集群设计
• 有机会深入底层硬件优化（如CUDA、XLA），成为硬件与算法交叉领域的稀缺人才
• 随着大模型持续演进，该领域人才需求旺盛，可横向扩展到其他AI基础设施或云服务方向
• 设计并优化大模型训练和推理的基础设施，包括分布式框架、推理引擎和模型压缩工具
• 深入优化计算效率，应用混合精度、量化（INT8/FP16）和KV Cache等技术提升性能
• 与算法团队协作，确保大模型在GPU/NPU等异构硬件上高效运行，并参与系统架构设计
• 精通C++和Python，并具备深度学习框架（如PyTorch、PaddlePaddle）的实际使用经验
• 深入理解分布式系统和并行计算，掌握CUDA编程或高性能计算相关技术
• 熟悉模型量化、推理优化和显存管理等技术原理，有相关项目经验者优先

申请策略

• 准备一个完整的大模型训练或推理优化案例，从问题分析到方案实施、效果评估，展现工程思维
• 表现出对百度AI技术栈（如PaddlePaddle、飞桨）的了解和热情，有助于脱颖而出
• 突出分布式训练或推理系统的项目经验，尤其包含CUDA编程、模型量化或算子优化等细节
• 强调在深度学习框架（PyTorch/PaddlePaddle）下的性能调优成果，最好有量化指标（如吞吐提升、显存节省）
• 展示对AI Infra前沿技术的关注，如发表过相关论文、参加过开源项目（如vLLM、TensorRT等）
• 建议提前系统学习CUDA编程和GPU架构，理解warp调度、shared memory等底层机制
• 熟悉主流推理引擎（如TensorRT、ONNX Runtime）和训练框架（DeepSpeed、Megatron）的源码更佳

面试指南

• 对于原理类问题：先清晰定义问题，再分点阐述原理、实现细节及trade-off
• 对于项目类问题：采用STAR法则（情境、任务、行动、结果），突出量化指标和个人贡献
• 对于设计类问题：从需求分析出发，给出架构图，比较不同方案的优缺点，最后总结选型理由
• 请解释Transformer模型中KV Cache的原理及优化方法
• 描述你如何排查分布式训练中的通信瓶颈？请举例
• INT8量化如何影响模型精度？如何平衡性能与精度？
• CUDA中如何利用shared memory优化矩阵乘法？
• 你如何设计一个高吞吐的推理服务系统？