AI infra工程师（大模型训推优化）

优缺点分析

角色解读

• 纵向成长为AI基础设施专家或系统架构师
• 横向可转向大模型算法研究或MLOps方向
• 随着大模型应用普及，成为稀缺的高性能计算人才
• 分析大模型训练与推理的性能瓶颈，从系统和算法协同角度提出优化方案
• 设计并实施量化方案（QAT/PTQ），保障低比特下模型质量
• 主导Diffusion模型步数蒸馏，将前沿加速技术落地到生产环境
• 基于vLLM、Sglang、TensorRT-LLM等框架进行深度定制和性能优化
• 精通C++/Python，具备强大的系统编程和调试能力
• 深入理解LLM和Diffusion模型的技术细节与计算逻辑
• 熟悉CUDA编程，能使用Nsight等工具进行性能分析
• 有至少一种推理框架（vLLM/Sglang/TensorRT-LLM）的实际优化经验

申请策略

• 关注京东探索研究院的技术博客或开源项目，展现对团队技术方向的热情
• 在申请材料中明确表达对大模型底层优化的强烈兴趣和长期规划
• 突出vLLM、TensorRT-LLM等推理框架的优化经历，具体到改动模块和性能提升数据
• 展示量化、蒸馏等项目的完整链路和效果对比
• 强调CUDA优化和性能分析案例，体现硬件层理解
• 体现与算法团队协作的沟通能力和项目推动力
• 提前深入研究主流推理框架源码，理解PagedAttention、Continuous Batching等机制
• 学习NVIDIA Nsight工具，掌握GPU内核分析方法

面试指南

• 用STAR法则描述项目：情境、任务、行动、结果，并用数据量化成果
• 从系统角度分析，先定位瓶颈（如显存、算力、IO），再针对性优化
• 强调跨团队协作，展示你如何用双方语言对齐需求和方案
• 如何定位和优化一个模型推理过程中的性能瓶颈？
• 解释QAT和PTQ的区别，实际项目中你如何选择？
• 在vLLM或TensorRT-LLM中做过哪些定制化改进？
• 说说你对Kernel融合、张量并行、流水线并行的理解？
• 如何与算法研究员高效协作，确保优化方案落地？