AI infra工程师（大模型训推优化）

优缺点分析

角色解读

• 技术专家路线：深入AI infra领域，成为大模型训推优化专家，解决行业级难题
• 架构师路线：主导AI基础设施架构设计，推动系统-算法协同创新
• 管理路线：晋升技术组长或技术经理，带领团队攻坚核心技术
• 与算法研究员协作，分析大模型训练和推理的性能瓶颈，从系统层面提出优化方案
• 主导或参与量化方案（QAT/PTQ）的设计实施，保障低比特下模型质量
• 主导Diffusion模型步数蒸馏，将前沿加速技术落地生产环境
• 深度定制vLLM、TensorRT-LLM等推理框架，开发高性能引擎，并设计动态批处理、并行等调度策略
• 扎实的算法功底：深入理解LLM和Diffusion模型的技术细节与计算逻辑
• 卓越的工程能力：精通C++/Python，具备系统编程和调试能力，有推理框架优化经验
• 硬件层优化经验：熟悉CUDA编程，能使用Nsight等工具进行GPU性能分析
• 出色的协同能力：能高效沟通算法与工程需求

申请策略

• 关注京东探索研究院的技术博客或开源项目，提前了解团队技术风格
• 面试前准备一个完整的性能优化案例，从问题分析到方案实施再到效果量化
• 突出大模型或高性能计算相关项目经验，尤其是量化、蒸馏或推理框架优化
• 展示CUDA编程能力与性能优化案例，如使用Nsight定位并解决瓶颈
• 强调vLLM、TensorRT-LLM等框架的深度参与经验，附上具体贡献
• 体现跨团队协作成果，证明沟通能力
• 深入学习LLM和Diffusion模型的底层计算逻辑，如注意力机制、去噪过程
• 实践阅读并修改vLLM或TensorRT-LLM源码，熟悉其架构

面试指南

• STAR法则：描述情境、任务、行动、结果，突出量化指标
• 技术问题采用“原理-方案-效果”三步法：先解释原理，再给出方案，最后量化效果
• 协作问题强调主动沟通、对齐目标、用数据验证
• 请描述一次你优化大模型推理性能的经历，用了哪些工具和方法？
• 解释QAT和PTQ的区别，在低比特场景下如何保证模型质量？
• 你如何分析CUDA kernel的性能瓶颈？请举例
• 请比较vLLM和TensorRT-LLM的架构差异及适用场景
• 你如何与算法研究员有效协作？给出具体案例