京东
AI infra工程师（大模型训推优化）
AI infra工程师（大模型训推优化）
发布于 大约 20 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
硕士
软件工程
Cuda
Diffusion模型
Tensorrt-Llm
Vllm
并行计算
系统性能优化
量化
大模型训练推理优化
AI 估算 · 35k–50k
上海AI infra工程师，中级经验，京东平台稳定，技能稀缺性高，薪资处于市场中上水平。
职位详情
关于这个职位
该职位隶属于京东探索研究院，专注于大模型训练与推理的性能优化
你将与算法研究员协作，通过系统与算法的协同设计来打破性能瓶颈，并主导量化、蒸馏等前沿加速技术的落地
如果你对底层系统优化充满热情，追求极致推理效率，这将是你发挥技术影响力的绝佳舞台
最低要求
计算机科学、人工智能、电子工程等相关专业硕士及以上学历，具备2年以上机器学习系统或高性能计算相关经验
扎实的算法功底：深入理解LLM和Diffusion模型的技术细节与计算逻辑，不满足于“调用API”，追求底层优化
卓越的工程能力：精通C++/Python，具备强大的系统编程和调试能力
深度参与过vLLM、Sglang、TensorRT-LLM等至少一种推理框架优化的实际项目经验
硬件层优化经验：熟悉CUDA编程，并能熟练使用Nsight Systems/Compute等GPU性能分析工具进行瓶颈定位与优化
出色的协同能力：能够在算法研究员与工程团队之间高效沟通，用双方的语言精准对接需求与技术方案
工作职责
与算法研究员协同工作，分析模型在训练与推理阶段的性能瓶颈，从系统-算法协同角度提出改进方案
主导或参与量化方案（量化感知训练QAT/训练后量化PTQ）的设计与实施，保障低比特下的模型质量
主导或参与Diffusion模型步数蒸馏工作，将业界前沿的加速技术（如一致性模型、渐进式蒸馏）落地到生产环境
基于vLLM / Sglang / TensorRT-LLM等框架进行深度定制与优化，开发高性能推理引擎
设计与实现动态批处理、持续批处理、流水线/张量并行等高级推理服务与调度策略
AI 洞察
优缺点分析
优点
- 京东探索研究院提供前沿的大模型研发环境，技术迭代快
- 接触底层系统与硬件优化，技能壁垒高，市场竞争力强
- 与顶尖算法研究员合作，能快速积累系统与算法协同的经验
- 需要同时掌握算法理解与工程优化能力，学习曲线较陡峭
- 大模型训推优化涉及大量细节调试，工作强度可能较大
- 技术更新快，需持续跟进业界最新进展（如蒸馏、量化算法）
- 适合对系统性能有极致追求、享受底层优化的技术极客，且希望在大模型时代掌握核心硬技能的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 从AI infra工程师向系统架构师方向发展，主导大规模AI系统的设计与优化
- 深耕大模型底层技术，成为AI芯片或编译器领域的专家
- 横向拓展至算法研究，结合工程经验推动前沿加速技术的落地
- 分析大模型训练与推理的性能瓶颈，从系统与算法协同角度提出优化方案
- 主导或参与量化方案（QAT/PTQ）的设计与实施，确保低比特模型质量
- 基于vLLM、TensorRT-LLM等框架进行深度定制，开发高性能推理引擎
- 设计动态批处理、流水线并行等高级推理调度策略，提升服务效率
- 扎实的算法功底，深入理解LLM和Diffusion模型的计算逻辑
- 精通C++/Python，具备强大的系统编程和调试能力
- 熟悉CUDA编程及GPU性能分析工具（如Nsight Systems）
- 有vLLM、Sglang或TensorRT-LLM等推理框架优化经验
申请策略
- 在面试中展现你如何将算法研究员的需求转化为具体的系统优化方案，强调协同能力
- 了解京东探索研究院在AI领域的研究方向，如京东云大模型、多模态等，体现对业务的理解
- 突出参与过的推理框架优化项目，详细描述你贡献的优化点和效果
- 强调CUDA编程和GPU性能分析经验，附上性能提升数据
- 展示对LLM/Diffusion模型底层计算逻辑的理解，如量化、蒸馏相关项目
- 提前熟悉vLLM或TensorRT-LLM的源码，动手尝试定制一个简单的算子
- 补充CUDA底层优化知识，学习使用Nsight Systems进行性能分析
面试指南
- 采用STAR法则：背景、任务、行动、结果，量化性能提升（如延迟降低30%）
- 从系统与算法协同角度分析：先识别瓶颈（计算/显存/通信），再提出针对性优化，最后验证效果
- 对比不同技术方案时，从性能、精度、部署难度三个维度展开，体现权衡思考
- 请描述你参与过的一个大模型推理优化项目，你如何定位瓶颈并改进？
- 对比vLLM和TensorRT-LLM的架构差异，你会如何选择？
- 如何在不显著降低模型精度的情况下，实现模型量化？QAT和PTQ的优缺点？
- 解释动态批处理和持续批处理的原理，它们在什么场景下更有效？
- 如何优化Diffusion模型的推理速度？谈谈对蒸馏或步数剪枝的理解
职位点评
70
综合评分
大厂AI前沿岗位，技术栈顶尖，薪资优厚，但工作节奏快，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、希望在大模型底层系统领域深耕的工程师，对工作强度有心理准备。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值60
薪资福利
75中等
公司为上市巨头，薪资福利有竞争力；JD未明确薪资，但市场行情偏高，年终奖和股票等福利可期。
薪资信号未披露（AI估算：35K-50K/月）
成长发展
90较高
岗位处于AI大模型最前沿，技术栈顶尖，能深度参与系统与算法优化，成长空间极大。
技术前沿前沿/新兴技术
技术栈大模型、vLLM、TensorRT-LLM、CUDA、量化、蒸馏、Diffusion模型
业务类型profit_center
工作生活
40较低
仅现场办公，上海工作地点未明确市区还是园区，但互联网大厂通常节奏较快，工作强度可能较高。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
大模型是当前科技热点，技术本身具有推动行业发展的意义，但公司为商业巨头，使命驱动感一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
京东 的其他在招职位
相似职位推荐
Watch Jobs