AI infra工程师（大模型训推优化）

优缺点分析

角色解读

• 技术专家：在推理优化、量化、蒸馏等细分领域深耕
• 架构师：主导AI基础设施整体架构设计
• 技术管理者：带领团队，向AI infra负责人方向发展
• 分析大模型训练与推理中的性能瓶颈，设计系统-算法协同优化方案
• 主导量化方案（QAT/PTQ）实施，确保低比特下模型质量
• 主导Diffusion模型蒸馏，将一致性模型等加速技术落地
• 基于vLLM/Sglang/TensorRT-LLM定制高性能推理引擎，设计调度策略
• 精通C++/Python，具备强大的系统编程和调试能力
• 深入理解LLM和Diffusion模型技术细节，不满足于调用API
• 熟悉CUDA编程及GPU性能分析工具（Nsight Systems/Compute）
• 有vLLM、Sglang、TensorRT-LLM等推理框架优化经验

申请策略

• 表达对系统-算法协同优化的热情，准备具体技术案例
• 了解京东探索研究院在AI基础设施方面的布局与方向
• 突出量化、蒸馏或推理框架优化的实际项目经验，展示细节与成果
• 强调CUDA编程和性能调优的案例，如具体加速比、优化思路
• 列出对vLLM、TensorRT-LLM等开源框架的贡献或深入理解
• 提前阅读vLLM、Sglang源码，理解架构与核心优化点
• 补充Diffusion模型蒸馏和一致性模型相关论文
• 练习Nsight Systems/Compute分析性能瓶颈的实操

面试指南

• 从系统-算法协同角度分析问题：先定位瓶颈是计算、内存还是通信，再结合模型特点优化
• 量化问题：对比QAT/PTQ的适用场景，强调精度与速度的trade-off
• 推理框架：理解核心机制（如paged attention），突出自己的实践与改进
• 如何分析LLM推理的性能瓶颈？有哪些常用工具和方法？
• QAT和PTQ的优缺点分别是什么？如何处理低比特下的精度损失？
• Diffusion模型蒸馏中一致性模型与渐进式蒸馏的区别？
• vLLM的continuous batching是如何实现的？
• 你有过CUDA kernel优化的经验吗？请举例说明