推理引擎工程师（大模型/CTR/端）

优缺点分析

角色解读

• 技术深耕：成为推理引擎或编译优化领域的专家，参与顶级会议或开源项目
• 横向拓展：向全栈AI系统或分布式系统架构方向转型
• 管理路线：积累经验后带领团队负责某一业务线的推理优化整体方案
• 优化大模型推理引擎，降低多模态任务(文生图/视频)的延迟并提高吞吐量
• 在CTR推荐广告场景中，通过GPU算子、编译优化等技术提升分布式推理效率
• 负责端侧模型的轻量化部署，使用量化、蒸馏、压缩等手段适配资源受限设备
• 跟踪前沿推理技术，进行技术攻关并主导或参与开源项目
• 扎实的机器学习/深度学习基础，熟悉大模型或CTR模型的推理优化技术
• 精通GPU编程(CUDA)、编译优化、图优化等高性能计算技能
• 熟悉模型量化、蒸馏、压缩等轻量化技术及端侧部署流程
• 具备分布式系统开发经验，了解推荐/搜索/广告等场景的引擎框架

申请策略

• 提前了解京东零售的业务场景，思考推理优化如何赋能具体业务
• 准备一个完整的推理优化案例，从问题分析到方案落地，展示系统性思维
• 突出推理引擎优化项目经验，尤其是大模型、CTR或端侧相关的性能提升成果
• 强调GPU编程、编译优化、模型量化等具体技术栈的掌握程度
• 如有开源贡献或论文发表，特别是推理引擎或编译方向，重点展示
• 体现分布式系统或大规模服务部署的经验
• 深入学习CUDA编程和算子优化，多做性能调优实践
• 掌握主流推理引擎框架如TensorRT、ONNX Runtime、vLLM等

面试指南

• 对于性能优化问题，采用'现状-瓶颈-方案-结果'四步法，先定义指标，再分析瓶颈，然后给出针对性优化，最后量化提升
• 对于技术原理问题，先阐明核心概念，再结合实际应用场景，最后讨论权衡（如精度与速度）
• 对于系统设计问题，从架构层面回答，考虑数据流、并行策略、容错等，体现工程思维
• 请介绍你做过的一个推理引擎优化项目，包括技术选型和性能提升效果
• 大模型推理中，如何优化Attention机制？请列举几种常见优化方法
• 解释模型量化（如INT8/FP16）的原理，并说明如何平衡精度与速度
• 在CTR场景中，分布式推理框架如何保证低延迟和高吞吐？
• 端侧部署时，内存和算力受限，你会采用哪些优化策略？