推理引擎工程师（大模型/CTR/端）

优缺点分析

角色解读

• 技术专家路线：深入推理优化领域，成为GPU算子、编译优化等方向的技术带头人
• 架构师路线：主导推理平台架构设计，覆盖云、端多种场景，推动公司级推理基础设施演进
• 跨领域发展：积累大模型、推荐、端侧等多场景经验，转型AI全栈技术专家或技术管理
• 针对大模型（如ChatGPT类）推理场景，通过算子融合、内存优化等手段减少延迟、提高吞吐
• 优化CTR推荐/广告系统的分布式推理框架，使用GPU编译优化提升稀疏模型效率
• 对端侧模型进行量化、蒸馏和压缩，确保在手机等设备上高效运行
• 跟踪前沿推理技术（如FlashAttention、vLLM），主导技术攻坚或开源贡献
• 扎实的机器学习基础，熟悉大模型、CTR或端侧模型架构
• 精通GPU编程（CUDA）和推理引擎优化（TensorRT、ONNX Runtime等）
• 掌握模型量化、蒸馏、剪枝等压缩技术，以及编译优化（TVM、XLA）
• 熟悉分布式系统原理，有大规模推理服务部署经验

申请策略

• 在简历中明确标注自己擅长的大模型/CTR/端侧方向，避免泛泛而谈
• 关注京东零售的技术博客或开源项目，面试时展现对业务场景的理解
• 突出在推理优化方面的具体项目，如将模型延迟降低X%、吞吐提升Y倍，并附上量化数据
• 强调对CUDA、TensorRT、TVM等工具的深入使用经验，最好有底层算子开发经历
• 如有开源项目贡献（如vLLM、TensorRT-LLM），需重点展示个人角色和贡献
• 展示多场景能力：同时具备大模型、CTR或端侧中至少两个方向的实践
• 系统学习GPU编程（CUDA、cuDNN）和推理框架源码（如TensorRT、ONNX Runtime）
• 掌握模型压缩工具（如NNCF、TensorFlow Lite）和编译优化框架（TVM、MLIR）

面试指南

• 从系统视角分层回答：模型压缩（量化、剪枝）→ 算子优化（CUDA kernel fusion）→ 内存管理（显存复用）→ 调度优化（batching、pipelining）
• 对比不同优化方法的适用场景：大模型侧重kv cache优化，CTR侧重稀疏特征处理，端侧侧重量化与编译
• 结合实践经验，给出具体数值改进，并说明trade-off（如加速比与精度损失）
• 如何优化一个PyTorch模型的推理性能？请从算子、内存、编译等角度阐述
• 请解释FlashAttention的原理及在推理加速中的优势
• 你如何设计一个CTR模型的高性能分布式推理服务？
• 端侧量化有哪些常用方法？如何在精度和速度之间做权衡？
• 你参与过哪些推理优化开源项目？具体贡献是什么？