阿里巴巴
AI推理平台-大模型推理效能与稳定性专家-效能提升
AI推理平台-大模型推理效能与稳定性专家-效能提升
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公性能优化
性能优化
Gpu集群调度
Python/Go
Sglang
Tensorrt-Llm
Vllm
分布式系统
可观测性
性能优化
混沌工程
值不值得投
81综合评分
综合评分 81
聚焦大模型底层推理优化，技术前沿、薪酬竞争力强，适合追求极致技术深度的资深专家
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
7.5万
比性能优化中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3910 个在招 · 其中性能优化 3 个
市场机会
选择不多
杭州 · 性能优化 · 2 个在招
职位详情
关于这个职位
负责大模型推理引擎的底层性能分析与集群稳定性治理，通过源码级排查、混沌工程压测及全链路可观测性建设，定位并解决显存泄漏、吞吐抖动等性能瓶颈，协同研发团队优化调度策略，系统性提升推理服务的SLA与资源效能
最低要求
本科及以上，计算机相关专业
具有5年以上系统性能分析、稳定性保障或分布式系统疑难问题排查经验
深度掌握vLLM、SGLang、TensorRT-LLM任一引擎的内部架构（调度器、显存管理、KV Cache策略），能通过源码级别分析定位性能异常
精通Linux性能工具（perf、py-spy、NVIDIA Nsight、nvprof）及分布式追踪（Jaeger、OpenTelemetry），具备从CPU/GPU/网络/存储全栈定位瓶颈的能力
精通Python/Go至少一种，能编写复杂分析脚本、压测工具或可观测性算子，不依赖现成工具完成深度诊断
熟悉GPU集群调度（Kubernetes）与高可用架构，有大规模在线推理服务稳定性治理实战经验
工作职责
引擎底层问题挖掘与根因分析
深入vLLM、SGLang、TensorRT-LLM等推理引擎源码，通过Profile、Trace、日志分析等手段，主动识别算子调度、显存分配、KV Cache管理、通信同步等底层性能缺陷与逻辑异常
对线上偶发超时、吞吐抖动、显存泄漏等问题进行深度根因定位，输出清晰的问题复现路径与修复建议
推理集群稳定性治理
构建混沌工程与故障注入体系，系统性验证服务在节点故障、网络分区、负载突增等场景下的容灾与自愈能力，提前暴露架构脆弱点
主导线上故障应急排查与复盘，推动建立稳定性防护网（限流、降级、重试风暴防护等）
可观测性与效能分析体系建设
参与全链路可观测性平台（Metrics/Tracing/Logging）的建设，如提炼TTFT、TPOT、并发上限、GPU利用率等关键效能与稳定性指标，建立异常检测与智能告警规则等
通过数据分析发现容量冗余、调度不均衡、资源碎片等成本效能问题，推动调度策略优化
性能瓶颈攻坚与协同优化
主导端到端压测与长稳测试，定位并发增长下的性能拐点，联合研发制定优化方案（如PD分离、Prefix Caching、Speculative Decoding工程化适配）
作为效能问题的技术人员，推动研发团队优先级排期与问题闭环，跟踪优化效果并量化收益
AI 洞察
优缺点分析
优点
- 接触最前沿的大模型推理技术栈，技术壁垒高
- 依托集团海量业务场景，数据与算力资源丰富
- 专家岗职级体系完善，长期职业发展空间广阔
- 需同时兼顾底层引擎原理与上层业务SLA，知识跨度大
- 跨部门协同推进优化方案落地存在沟通成本
- 适合深耕系统底层性能优化、热爱钻研开源框架源码、具备强抗压能力与跨团队推动力的资深工程师
缺点 / 挑战
- 线上故障排查压力大，对应急响应与复盘能力要求极高
角色解读
- 向AI基础设施架构师或首席性能专家发展
- 可横向拓展至大模型训练/推理全链路系统设计
- 逐步承担技术规划与团队技术指导职责
- 深入大模型推理引擎源码进行性能剖析与根因定位
- 构建混沌工程与故障注入体系保障集群高可用
- 搭建全链路可观测性平台监控关键效能指标
- 主导端到端压测并推动跨团队优化方案落地
- 精通主流LLM推理引擎底层原理与架构
- 熟练掌握Linux性能分析工具与分布式追踪技术
- 具备Python/Go编程能力及复杂压测/诊断工具开发经验
- 熟悉Kubernetes调度与GPU集群高可用架构
申请策略
- 提前了解集团通义实验室或云平台团队的技术布局
- 面试时准备1-2个完整的性能瓶颈定位与优化闭环案例
- 突出大模型推理引擎调优实战案例，量化吞吐量/延迟改善收益
- 详细列举混沌工程演练与线上故障闭环处理经验
- 展示自研性能分析脚本或压测工具的开发细节
- 深入研读vLLM/SGLang最新论文与源码实现
- 强化GPU内核级性能分析（Nsight Systems/Compute）技能
- 补充云原生可观测性平台（Prometheus/Grafana/ELK）部署经验
面试指南
- 采用STAR法则（情境-任务-行动-结果）结构化回答
- 重点突出“现象观察->数据采集->假设验证->根因定位->方案实施->效果量化”的排查逻辑
- 强调跨团队协作中的技术影响力与推动力
- 请分享一次你定位并解决大模型推理服务性能瓶颈的完整案例
- 在GPU集群负载突增时，如何设计限流与降级策略保障核心SLA？
- vLLM的PagedAttention机制是如何优化显存利用率的？结合你的项目谈谈理解
- 如何通过全链路追踪快速定位跨服务调用中的性能断点？
- 复习分布式系统一致性协议与容灾设计原则
职位点评
薪资福利85
成长发展92
工作生活65
使命价值75
薪资福利
85较高
集团专家岗薪酬包具备较强市场竞争力，配套完善的福利体系与长期激励，能有效满足求职者对高薪与稳定性的诉求。
薪资信号未披露（AI估算：5.5千–9.5万/月）
成长发展
92较高
岗位聚焦大模型推理前沿技术，提供接触行业顶尖架构与海量真实业务场景的机会，技术成长曲线陡峭且路径清晰。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、TensorRT-LLM、Kubernetes、Python、Go
业务类型profit_center
工作生活
65中等
技术专家岗通常面临较高的线上稳定性保障压力，但部分团队推行弹性工作制，整体WLB处于互联网中等水平。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
致力于提升大模型推理效能与稳定性，直接赋能千行百业智能化转型，具备显著的技术价值与社会应用前景。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs