京东
AI infra工程师（大模型训推优化）
AI infra工程师（大模型训推优化）
发布于 大约 16 小时前普通员工/个人贡献者
北京市
中级经验
全职员工
仅现场办公
硕士
软件工程
LLM
CUDA
量化
diffusion模型
蒸馏
vLLM
TensorRT-LLM
Nsight Systems
AI 估算 · 30k–50k
AI大模型方向紧缺，京东上市大厂薪资竞争力强，硕士+2年经验，月薪3-5万合理
职位详情
关于这个职位
该职位是京东探索研究院的AI基础设施工程师，专注于大模型训练与推理的优化
你将与算法研究员协作，分析性能瓶颈，设计量化方案和蒸馏技术，并深度定制推理框架如vLLM和TensorRT-LLM，开发高性能推理引擎
适合追求底层优化、热爱技术挑战的工程师
最低要求
计算机科学、人工智能、电子工程等相关专业硕士及以上学历，具备2年以上机器学习系统或高性能计算相关经验
扎实的算法功底：深入理解LLM和Diffusion模型的技术细节与计算逻辑，不满足于“调用API”，追求底层优化
卓越的工程能力：精通C++/Python，具备强大的系统编程和调试能力
深度参与过vLLM、Sglang、TensorRT-LLM等至少一种推理框架优化的实际项目经验
硬件层优化经验：熟悉CUDA编程，并能熟练使用Nsight Systems/Compute等GPU性能分析工具进行瓶颈定位与优化
出色的协同能力：能够在算法研究员与工程团队之间高效沟通，用双方的语言精准对接需求与技术方案
工作职责
与算法研究员协同工作，分析模型在训练与推理阶段的性能瓶颈，从系统-算法协同角度提出改进方案
主导或参与量化方案（量化感知训练QAT/训练后量化PTQ）的设计与实施，保障低比特下的模型质量
主导或参与Diffusion模型步数蒸馏工作，将业界前沿的加速技术（如一致性模型、渐进式蒸馏）落地到生产环境
基于vLLM / Sglang / TensorRT-LLM等框架进行深度定制与优化，开发高性能推理引擎
设计与实现动态批处理、持续批处理、流水线/张量并行等高级推理服务与调度策略
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与大模型与扩散模型的底层优化，积累稀缺的AI infra经验
- 平台优势：京东探索研究院资源丰富，能接触真实大规模生产环境
- 技能含金量高：精通CUDA、vLLM、TensorRT-LLM等，市场价值极高
- 团队协同：与算法研究员紧密合作，拓宽技术视野
- 适合热爱底层优化、不满足于API调用、渴望在AI基础设施领域深耕的工程师
缺点 / 挑战
- 技术难度大：需要同时具备算法理解和工程深度，门槛较高
- 工作强度可能较高：大模型训推优化任务繁重，项目周期紧
- 持续学习压力：该领域发展极快，需不断跟进最新技术
角色解读
- 技术专家路线：深入AI infra领域，成为大模型训推优化专家，解决行业级难题
- 架构师路线：主导AI基础设施架构设计，推动系统-算法协同创新
- 管理路线：晋升技术组长或技术经理，带领团队攻坚核心技术
- 与算法研究员协作，分析大模型训练和推理的性能瓶颈，从系统层面提出优化方案
- 主导或参与量化方案（QAT/PTQ）的设计实施，保障低比特下模型质量
- 主导Diffusion模型步数蒸馏，将前沿加速技术落地生产环境
- 深度定制vLLM、TensorRT-LLM等推理框架，开发高性能引擎，并设计动态批处理、并行等调度策略
- 扎实的算法功底：深入理解LLM和Diffusion模型的技术细节与计算逻辑
- 卓越的工程能力：精通C++/Python，具备系统编程和调试能力，有推理框架优化经验
- 硬件层优化经验：熟悉CUDA编程，能使用Nsight等工具进行GPU性能分析
- 出色的协同能力：能高效沟通算法与工程需求
申请策略
- 关注京东探索研究院的技术博客或开源项目，提前了解团队技术风格
- 面试前准备一个完整的性能优化案例，从问题分析到方案实施再到效果量化
- 突出大模型或高性能计算相关项目经验，尤其是量化、蒸馏或推理框架优化
- 展示CUDA编程能力与性能优化案例，如使用Nsight定位并解决瓶颈
- 强调vLLM、TensorRT-LLM等框架的深度参与经验，附上具体贡献
- 体现跨团队协作成果，证明沟通能力
- 深入学习LLM和Diffusion模型的底层计算逻辑，如注意力机制、去噪过程
- 实践阅读并修改vLLM或TensorRT-LLM源码，熟悉其架构
面试指南
- STAR法则：描述情境、任务、行动、结果，突出量化指标
- 技术问题采用“原理-方案-效果”三步法：先解释原理，再给出方案，最后量化效果
- 协作问题强调主动沟通、对齐目标、用数据验证
- 请描述一次你优化大模型推理性能的经历，用了哪些工具和方法？
- 解释QAT和PTQ的区别，在低比特场景下如何保证模型质量？
- 你如何分析CUDA kernel的性能瓶颈？请举例
- 请比较vLLM和TensorRT-LLM的架构差异及适用场景
- 你如何与算法研究员有效协作？给出具体案例
匹配度报告
70
综合匹配度
大厂前沿技术岗，薪资竞争力强，技术成长空间大，但WLB一般且未明确福利。
适合人群
适合追求技术深度和职业成长、能接受现场办公和高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利70
成长发展88
工作生活50
使命价值70
薪资福利匹配
70中等
京东作为上市大厂，薪酬水平具有竞争力，但职位未明确披露薪资范围，福利未在JD中提及。
薪资信号未披露（AI估算：30K-50K/月）
成长发展匹配
88较高
该职位涉及大模型训推优化前沿技术，技能挑战高，成长空间大。但JD未明确提及晋升通道或培训。
技术前沿前沿/新兴技术
技术栈量化、蒸馏、vLLM、TensorRT-LLM、CUDA、Diffusion模型、LLM
业务类型ambiguous
工作生活匹配
50较低
仅现场办公，地点在北京，未提及弹性工作或WLB措施，工作强度可能较高。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
70中等
AI大模型是高速增长赛道，技术前沿，但社会影响力中性，JD未强调使命价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs