OceanBase-LLM推理优化专家-OceanBase

优缺点分析

角色解读

• 深耕推理引擎与异构计算方向，可成长为团队内负责核心性能指标的技术专家
• 从单点引擎优化扩展到平台化与集群级调度，向推理基础设施架构师方向发展
• 由于直接对接业务侧的在线服务，有机会横向了解大模型应用落地链路，转向 AI 基础设施或平台技术管理岗
• 负责大模型推理引擎的研发与性能优化，包括模型执行、动态批处理、KV Cache 管理、模型加载等关键链路
• 面向大规模在线与批量推理场景，做模型并行、通信与计算重叠、负载均衡和资源调度的深度优化
• 建设推理平台能力，包括模型部署、弹性伸缩、任务排队与失败恢复，打通引擎、调度与服务管理链路
• 探索 CPU/GPU 混合计算、显存与内存协同以及国产 GPU/NPU 适配，并建设性能评测与可观测体系来定位瓶颈
• 扎实的系统编程能力，精通 C++、Python、Go、Java 中至少一门，具备并发编程、分布式系统或高性能计算经验
• 理解 Transformer 架构与推理全流程，熟悉动态批处理、KV Cache、量化、投机解码以及 TP/PP/EP/DP 并行策略
• 在推理引擎与算子优化、分布式推理与通信优化、GPU 调度与模型服务平台三个方向中至少有一个方向的深入实践
• 具备独立完成性能分析、方案设计、代码实现与效果验证的闭环能力

申请策略

• 该岗位明确强调开源框架实践，投递前可先梳理自己在推理优化上的公开产出，并在简历顶部用一段话概括技术主线
• 面试前了解 OceanBase 与蚂蚁在大模型基础设施上的公开技术分享，便于在沟通中体现对业务场景的理解
• 突出 C++/CUDA 高性能编程经历，用具体指标说明优化成果，如吞吐提升比例、延迟下降幅度、显存占用下降等
• 单独列出推理相关项目：vLLM/SGLang 等框架的使用或二次开发、KV Cache 管理、动态批处理、并行策略（TP/PP/EP/DP）实践
• 展示分布式系统或集群调度经验，包括 Kubernetes、GPU 资源调度、在线与批量混合调度等
• 如有开源贡献（PR、issue、性能 patch）务必附上链接，这是该岗位高度认可的加分项
• 系统补强推理引擎知识：精读 vLLM 与 SGLang 的调度器、KV Cache 与 PagedAttention 实现，尝试提交小规模优化 PR
• 强化 CUDA 与算子层能力，练习 GEMM、算子融合、显存管理的性能分析与调优，熟悉 Nsight 等 profiling 工具

面试指南

• 性能优化类问题用「基线指标—瓶颈定位方法—优化手段—验证数据—遗留问题」五段式回答，务必带量化结果
• 原理类问题先讲清机制（如 KV Cache 分页、并行切分方式），再讲工程权衡与踩坑经验，体现深度而非背诵
• 开放设计类问题先明确目标指标与约束，再拆解为引擎层、调度层、硬件层分别给方案，最后说明验证与回滚手段
• 你做过的最有代表性的一次推理性能优化是什么？瓶颈如何定位，最终提升了多少吞吐、降低了多少延迟？
• 请解释 PagedAttention 与 KV Cache 管理的原理，以及在不同 batch 与序列长度下如何取舍？
• 在 TP/PP/EP 并行下，通信与计算重叠如何设计？遇到过哪些通信瓶颈？
• 线上服务对首字延迟敏感时，你会如何权衡动态批处理的大小与排队策略？
• 如果要适配一款国产 NPU，你会按什么步骤评估可行性并落地算子与模型适配？