分布式推理引擎工程师

优缺点分析

角色解读

• 可在AI Infra方向持续深耕，成长为分布式推理引擎/大模型系统架构方向的资深技术专家
• 随着跨模块项目和团队指导经验积累，可向技术负责人、AI Infra架构师或研发管理方向发展
• 大模型推理与异构计算仍在快速演进，具备向训练系统、推理平台、智能体基础设施等相邻领域拓展的空间
• 负责京东云AI Infra团队大模型分布式推理引擎的整体架构设计，推动异构硬件与主流大模型适配
• 设计并落地多维并行与通信优化策略，持续提升推理引擎的吞吐量、响应速度和稳定性
• 主导跨模块重点项目，拆解需求、跟踪落地并解决关键技术卡点
• 建立性能与稳定性量化评估体系，推动跨团队技术协作并指导团队成员成长
• 具备分布式推理引擎全链路架构与优化能力，熟悉异构计算环境下的大模型部署与调优
• 能够分析推理链路瓶颈，设计多维并行策略与通信优化方案，并用指标验证效果
• 具备跨模块项目主导能力，能拆解复杂问题、推动协作并沉淀可复用经验
• 对大模型推理技术有持续钻研意愿，并能在团队中发挥技术指导和示范作用

申请策略

• 了解京东云AI Infra团队和大模型业务生态，在简历与面试中体现对业务场景的理解
• 准备一个完整的推理引擎优化案例，覆盖背景、瓶颈、方案、结果和复盘
• 重点突出分布式推理引擎架构设计与性能优化项目，说明吞吐、延迟、成本等指标改善
• 详细描述异构硬件适配经验，包括不同硬件平台上的大模型部署与调优实践
• 展示多维并行、通信优化和推理链路瓶颈定位的具体案例，体现全链路优化能力
• 突出跨模块项目主导、跨团队协作和技术经验沉淀经历
• 提前梳理主流大模型推理框架与并行策略，准备性能profiling和瓶颈分析案例
• 补充分布式通信、异构计算和稳定性评估相关方法论，形成可复用的技术方案

面试指南

• 采用“背景-瓶颈-方案-结果-复盘”的结构回答，突出技术判断和量化收益
• 面对架构题先讲整体分层，再讲关键取舍和异常处理，最后用指标验证
• 面对项目题说明需求拆解、协作机制、风险卡点和沉淀方法
• 请描述你设计或优化过的分布式推理引擎架构，核心模块如何划分？
• 在异构硬件上部署大模型时，你如何制定适配与优化方案？
• 如何定位推理链路瓶颈，并选择合适的多维并行与通信优化策略？
• 请举例说明你如何主导跨模块项目并解决关键技术卡点
• 如果让你建立性能与稳定性评估体系，你会关注哪些指标？