AI推理平台-百炼模型推理服务技术专家-杭州

优缺点分析

角色解读

• 可沿技术专家路线在推理系统、高性能计算方向持续深耕，成为大模型推理基础设施领域的架构负责人
• 也可横向扩展到训练框架、AI 编译器、异构算力调度等相邻方向
• 随着多模态与推理成本优化成为行业核心议题，该方向的技术积累具备较强的市场稀缺性
• 负责百炼平台上 Qwen 系列多模态模型（VL/Audio/Omni）的推理功能支持与端到端性能优化
• 设计并落地多机分布式推理架构，包括 P/D 分离、A/F 分离、VL 分离等方案
• 将推理引擎接入线上服务平台，完成自动扩缩容、可观测性适配与稳定性保障
• 扎实的 C++ 与 Python 工程能力，熟悉 OOP/OOD 与系统抽象设计
• 掌握系统性能优化方法论，能用 Roofline Model 分析 IO、计算与带宽瓶颈并逼近理论上限
• 理解 LLM/多模态模型推理流程与分布式推理系统架构，具备线上服务稳定性治理经验

申请策略

• 面试前了解百炼平台的产品定位与典型客户场景，思考推理服务在成本、时延、稳定性三者的权衡
• 准备一两个能讲透的端到端性能优化案例，说明如何量化收益
• 突出 C++ 高性能服务或推理引擎相关项目，量化说明吞吐、时延、显存占用等优化成果
• 展示分布式推理或多机多卡架构设计经验，如 PD 分离、并行策略、调度方案
• 体现系统瓶颈定位与性能建模能力，如使用 Roofline Model、profiling 工具的分析案例
• 如有 CUDA 算子优化或开源推理引擎贡献，务必单列
• 短期可系统梳理主流开源 LLM 推理引擎（如 vLLM、SGLang、TensorRT-LLM）的架构与关键优化点
• 补充 CUDA 编程与算子级性能调优实践

面试指南

• 性能类问题用「现象—度量—归因—优化—验证」五步法，先给出量化指标再讲手段
• 架构类问题先讲清楚要解决的瓶颈与约束，再对比多种方案的取舍与适用边界
• 工程落地类问题强调稳定性、可观测性与灰度验证，说明如何避免线上风险
• 请描述一次你定位推理系统性能瓶颈的完整过程，如何用 Roofline Model 或 profiling 数据支撑结论？
• P/D 分离架构解决了什么问题？在落地时你会如何处理 KV Cache 传输与调度均衡？
• 多模态模型（如 VL）推理与纯文本 LLM 推理在显存、带宽和调度上有哪些关键差异？
• 推理引擎接入线上服务时，自动扩缩容和可观测性你会怎么设计？
• 你有过哪些 CUDA 算子优化或开源推理引擎的实践？效果如何？