阿里巴巴
AI推理平台-AI 推理系统工程师（数据化与可观测性方向）-杭州
AI推理平台-AI 推理系统工程师（数据化与可观测性方向）-杭州
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Clickhouse
Go
Gpu Profiling
Opentelemetry
可观测性
大模型推理
值不值得投
75综合评分
综合评分 75
阿里核心AI基建岗，技术前沿挑战大，薪资优厚但工作强度较高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 4440 个在招 · 其中AI算法 2 个
市场机会
选择不多
杭州 · AI算法 · 3 个在招
职位详情
关于这个职位
负责构建大规模AI推理系统的数据化与可观测性平台，涵盖数据采集、存储与分析
通过端到端请求追踪和性能分析工具，定位瓶颈并优化模型推理效率
结合AI Agent技术实现自动化诊断，提升研发运维效能及线上服务质量
最低要求
计算机或相关专业本科及以上学历，具备扎实的计算机基础、系统设计能力和良好的工程实践能力，熟练掌握 Go、Python、C++、Java 等语言中的至少一种
具备大规模分布式系统、数据基础设施或可观测性系统的开发经验，熟悉 Metrics、Logs、Traces 等数据模型，理解高吞吐数据采集、流式处理、存储和查询系统的设计原理
熟悉 Prometheus、OpenTelemetry、ClickHouse、Grafana 等相关技术或同类系统，有监控、日志、分布式追踪、Profiling 或数据分析平台建设经验
具备较强的数据分析和问题定位能力，能够利用 SQL、Python 等工具分析复杂系统的运行数据，结合 Metrics、Logs、Traces 和 Profiles 定位性能瓶颈、资源浪费及稳定性问题
理解大模型推理的基本原理，熟悉 Prefill、Decode、KV Cache、Batching、请求调度等核心机制，了解 GPU 计算和资源管理的基本原理
具备良好的定量分析和实验验证能力，能够设计 Benchmark 和性能分析方案，通过数据和实验评估系统优化的实际收益
具备较强的自主学习和跨团队协作能力，能够深入理解推理引擎、平台和算法团队的实际需求，独立完成从问题分析、方案设计到工程落地的工作
工作职责
负责大规模 AI 推理系统的数据化与可观测性能力建设，设计和开发统一的数据采集、处理、存储与分析平台，支持 Metrics、Logs、Traces、Events、Profiles 等多种运行数据的低成本采集和高效使用
深入推理引擎和平台的运行机制，建设端到端请求追踪、性能分析和问题诊断能力，实现模型请求、推理执行、资源使用及系统运行状态的关联分析，提升研发效率和线上服务质量
建设自动化 Benchmark、性能分析和回归检测能力，结合理论性能模型、压测数据和线上实际运行数据，分析系统性能差异，识别性能瓶颈和优化机会，支持新模型、新硬件和新推理引擎的快速适配与性能优化
基于真实推理 Workload 和运行数据，建立请求特征、实际执行行为与资源消耗之间的量化分析能力，研究 Prefill/Decode、KV Cache、请求调度等关键机制对性能和成本的影响，支持推理系统的容量规划、配置优化和资源效率提升
建设推理系统的可视化分析和自助诊断工具，帮助研发和运维人员快速发现、定位和分析系统问题
探索利用 AI Agent 实现自动化问题分析、性能诊断和优化建议，持续提升系统研发与运维效率
与推理引擎、平台、算法及基础设施团队紧密协作，将实际研发和业务问题转化为可复用的数据产品与分析能力，并为 Agent Harness、RSI 等持续优化场景提供数据基础和分析支撑
优先资格
有 vLLM、SGLang 等大模型推理框架的开发、性能分析或优化经验
有大规模时序数据库、日志系统、分布式 Tracing 或 Continuous Profiling 系统建设经验
熟悉 GPU Profiling、CUDA、NCCL、eBPF 等底层性能分析技术
有推理系统容量规划、资源调度、成本分析或自动扩缩容相关经验
有大规模 AI 训练、推理或 Agent 系统的数据化与可观测性建设经验
有利用 AI Agent 实现自动化问题诊断、性能分析或研发效率工具的经验
AI 洞察
优缺点分析
优点
- 处于大模型基础设施的核心环节，技术栈前沿且具有高壁垒
- 需要同时懂底层系统（GPU/分布式）和上层应用（LLM推理），知识跨度大，调试难度大
- 适合对系统性能优化、可观测性技术及大模型底层原理有浓厚兴趣的资深后端或系统工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 向AI基础设施架构师、高级系统工程师或技术专家方向发展，深耕大模型底层优化领域
- 搭建和维护AI推理系统的全链路可观测性平台，包括数据采集、存储和分析
- 精通Go/Python/C++等编程语言，熟悉Prometheus/OpenTelemetry等可观测性生态
申请策略
- 准备具体的性能优化案例，展示如何通过数据分析定位瓶颈并提升系统效率
- 突出大规模分布式系统开发经验，特别是可观测性平台（Metrics/Logs/Traces）的建设细节
- 深入学习vLLM/SGLang等主流推理框架原理，掌握GPU Profiling和eBPF等底层调试技术
面试指南
- 采用STAR法则：背景（大规模系统痛点）、任务（构建可观测性体系）、行动（具体技术选型如ClickHouse+OTel、架构设计）、结果（性能提升指标、故障率降低）
- 如何设计一个支持千万级QPS的AI推理系统可观测性平台？
- 在LLM推理中，Prefill和Decode阶段的性能瓶颈通常在哪里？如何监控？
- 请介绍你使用OpenTelemetry或Prometheus解决过的最复杂的性能问题
- 如何平衡数据采集的成本与精度？
- 复习分布式追踪原理、GPU内存管理机制，熟悉常见的大模型推理优化手段（如KV Cache优化、Continuous Batching）
职位点评
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利
85较高
作为已上市的巨头企业，提供极具竞争力的薪资包和完善的福利体系，满足补偿性动机。
薪资信号偏高 (3.5千–6.0万/月)
成长发展
90较高
涉及大模型推理、GPU底层优化及AI Agent等前沿技术领域，技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈AI推理、vLLM、SGLang、GPU Profiling、CUDA、eBPF、OpenTelemetry、ClickHouse
业务类型cost_center
工作生活
40较低
互联网大厂核心研发岗位，工作强度通常较高，WLB保障相对有限。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
70中等
通过优化AI基础设施效率，间接推动AI技术的普及和应用落地，具有一定的行业价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs