推理架构算法工程师

优缺点分析

角色解读

• 可向首席架构师、技术总监方向发展，成为大模型基础设施领域的行业专家
• 也可转向AI平台产品负责人，统筹技术与业务结合，推动AI技术在更广泛场景的商业化落地
• 负责京东云大模型推理平台的底层架构设计与优化，解决高并发、低延迟的技术难题
• 搭建AI原生网关和高可用推理集群，实现异构算力的智能调度与资源管理
• 建立全链路监控与稳定性保障体系，确保大规模模型服务的稳定运行
• 深入理解大模型（LLM）推理原理，精通PD分离、KV Cache池化等前沿优化技术
• 具备深厚的分布式系统架构设计能力，熟悉异构资源调度、微服务治理及高可用架构模式
• 拥有极强的系统性能调优与故障排查能力，熟悉主流AI框架及底层加速技术

申请策略

• 关注京东云在AI领域的最新战略动态，了解其自研模型及开源模型的支持情况
• 准备详细的架构设计案例，能够清晰阐述技术选型的权衡过程及最终收益
• 展现对京东价值观的认同，特别是创新与担当精神
• 重点突出在大模型推理优化方面的具体项目经验，如PD分离、KV池化的实际落地效果及性能提升数据
• 展示在高并发、高可用系统设计中的架构决策过程及关键难点攻克案例
• 强调跨团队协作能力及对新技术的敏锐度与落地能力
• 深入研究vLLM、TensorRT-LLM等主流推理引擎的原理与源码，掌握最新的LLM推理优化技术
• 强化分布式系统一致性、容错性及性能调优的理论基础与实践技能

面试指南

• 采用STAR法则（情境、任务、行动、结果）详细描述过往项目，重点突出技术难点、解决方案及量化成果
• 对于架构设计题，先阐述总体设计原则，再分模块详解关键技术选型与权衡，最后说明预期效果与潜在风险
• 对于趋势类问题，结合个人见解与行业报告，展现技术前瞻性
• 请详细介绍你在大模型推理优化方面的实践经验，特别是PD分离和KV池化的具体实现与挑战
• 如何设计一个支持异构资源调度且高可用的AI推理平台？请描述你的架构思路
• 在面对高并发请求导致的服务延迟抖动时，你会如何进行根因分析与性能调优？
• 如何看待当前大模型推理技术的演进趋势？未来可能的突破点在哪里？
• 复习大模型推理相关的前沿论文与技术博客，梳理主流推理引擎的核心机制