AI推理平台-大模型服务性能与可观测性技术专家-杭州/北京

优缺点分析

角色解读

• 技术专家路线：深入特定领域（如GPU内核优化、分布式调度），成为公司乃至行业内的顶尖性能专家
• 技术领导力路线：凭借对系统全局的深刻理解和跨团队影响力，成长为AI基础设施或平台团队的技术负责人（TL）
• 架构师路线：将性能优化经验扩展到系统架构设计层面，参与定义下一代AI推理平台的整体架构与技术方向
• 构建并维护大模型在线服务的实时监控与诊断系统，确保系统异常时能快速定位到GPU内核或代码路径层面的瓶颈
• 对模型推理的全链路性能（延迟、吞吐、成本）进行深度分析与优化，涉及从调度、缓存到通信的各个环节
• 设计严谨的性能测试方案与A/B实验，科学地量化优化效果，并沉淀自动化工具提升团队效率
• 作为性能专家，推动跨团队协作，解决分布式系统中复杂的性能难题，提升整体服务质量和资源利用效率
• 精深的性能分析能力：熟练使用OpenTelemetry、CUPTI、Nsight等工具进行端到端追踪与性能剖析，能定位到微秒级或内核级别的瓶颈
• 深入的AI推理框架知识：对Transformer架构、动态批处理、KV Cache、vLLM/TensorRT-LLM等有原理性理解和实战经验
• 扎实的底层系统与分布式知识：理解CPU/GPU内存模型、高速通信（如RDMA）、并行计算原理，能进行分布式系统性能调优
• 出色的工程与实验能力：能编写高质量Python/C++代码进行分析与工具开发，并具备设计对照实验、控制变量验证结论的科学素养

申请策略

• 研究阿里巴巴达摩院、智能计算事业群在AI基础设施、大模型优化方面的公开技术博客、论文或开源项目，在面试中展示你的了解和思考
• 准备一个你过去解决的最复杂的性能问题的详细复盘，结构清晰地讲述背景、分析过程、解决方案和最终效果
• 突出在性能工程、可观测性或分布式系统领域的具体项目经验，量化你带来的性能提升（如：延迟降低X%）
• 明确列出你熟悉的性能分析工具链（如Nsight, Perf, OpenTelemetry）、推理框架（vLLM, TensorRT-LLM）和编程语言（C++/CUDA/Python）
• 强调你对GPU架构（如CUDA Core、显存层级）、通信（如RDMA）或大模型推理（如Prefill/Decode）的理解深度，有相关论文或开源贡献更佳
• 展示你作为个人贡献者解决复杂、跨团队技术难题的案例，体现你的技术影响力和协作能力
• 系统学习并实践GPU性能剖析工具（Nsight Systems/Compute），尝试对开源推理引擎进行性能分析并撰写分析报告
• 深入阅读Transformer推理优化的相关论文和开源项目（如vLLM）的性能部分，理解Continuous Batching、PagedAttention等优化的原理与实现

面试指南

• 对于案例问题，采用STAR法则（情境、任务、行动、结果），重点描述你的分析思路（如监控指标发现异常->用工具下钻->假设验证->定位根因）、技术决策和最终量化收益
• 对于系统设计问题，展示你的结构化思维
• 先明确目标（如指导优化、成本核算），再分层（业务、服务、引擎、硬件）定义对应指标（如TTFT, Throughput, MFU），并说明指标间如何关联
• 对于原理性问题，先阐述基本原理（如KV Cache的作用），再结合JD中提到的优化点（如Continuous Batching）分析其对性能的影响机制，最后可以提及潜在的权衡（如显存占用）
• 对于排查思路题，展示你的系统性：从现象入手（延迟上升），检查监控（QPS？错误率？资源使用？），提出假设（如某个请求阻塞？调度延迟？），并设计验证方法（如分析Trace、查看日志、进行Profile）
• 请描述一个你优化过的最复杂的分布式系统性能瓶颈案例，你是如何定位和解决的？
• 如何设计一个面向大模型在线服务的分层性能指标体系？请从请求入口到GPU执行各层阐述关键指标
• 在vLLM或TensorRT-LLM中，KV Cache的管理和调度是如何影响性能的？有哪些常见的优化方向？