深度学习系统工程师(GPU训练/推理)

优缺点分析

角色解读

• 成为GPU性能优化专家，深入底层硬件与算法协同设计
• 向AI基础设施架构师方向发展，负责大规模训练/推理集群的设计与优化
• 有机会参与前沿LLM推理引擎（如vLLM、TensorRT-LLM）的研发，紧追技术前沿
• 负责大语言模型在NVIDIA GPU上的训练和推理加速，优化训练效率、时延、吞吐和显存占用
• 使用PyTorch等框架进行性能分析、定位瓶颈并实施优化，如混合精度、显存优化、并行策略
• 与算法、平台、工程团队协作，保障模型训练到部署全链路的性能稳定
• 建设性能评测、Benchmark和Profiling工具链
• 扎实的Python/C++编程能力，能进行底层性能优化
• 熟悉PyTorch和深度学习训练/推理流程
• 理解NVIDIA GPU架构、CUDA编程、显存管理和并行计算
• 会使用nsys、ncu、gdb等性能分析工具定位瓶颈

申请策略

• 面试中主动展示对性能瓶颈的分析思路和优化方法论
• 了解声网在AI音频/视频领域的业务场景，尝试结合其业务思考优化方向
• 突出GPU性能优化项目经验，具体量化提升效果（如训练提速X%）
• 展示PyTorch/CUDA相关的工程实践，如自定义算子、混合精度训练
• 强调使用nsys/ncu等工具定位问题的案例，体现Debug能力
• 熟悉常用推理引擎如vLLM/TensorRT-LLM，了解其实现原理
• 学习CUTLASS、cuBLASLt等高性能库，掌握更底层优化技巧
• 补充分布式训练知识和通信优化经验

面试指南

• 回答技术问题采用STAR法则（情境-任务-行动-结果），突出量化结果
• 对于优化方法类问题，先拆解问题，提出假设，再用工具验证，逐步定位
• 对于方案设计类问题，从需求、约束、权衡、可行性等方面展开
• 请描述一次你优化PyTorch模型训练性能的经历，具体做了哪些工作？
• 如何分析CUDA kernel的性能瓶颈？你通常使用哪些工具？
• 解释混合精度训练的原理，以及在NVIDIA GPU上如何实现？
• 对于LLM推理，你了解哪些优化技术？如Continuous Batching、Paged Attention
• 如何设计一个性能评测方案来验证优化效果？