阿里巴巴
平头哥-AI Infra 工程师-上海
平头哥-AI Infra 工程师-上海
发布于 大约 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Ai基础设施
Go
Gpu集群
Opentelemetry
Sglang
Vllm
分布式系统
大模型推理
值不值得投
79综合评分
综合评分 79
技术前沿、平台大、薪资有竞争力的AI Infra核心研发岗，对技术能力要求高，WLB信息未明。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
48K
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2250 个在招 · 其中人工智能 约 160 个
市场机会
选择面较广
上海 · 人工智能 · 78 个在招
职位详情
关于这个职位
该岗位负责设计与构建高扩展性、高吞吐量的AI基础设施平台，特别是基于VLLM、SGLang等前沿框架的分布式推理系统
工作内容涉及智能资源调度、性能瓶颈优化、成本控制以及AI服务效能监控，旨在为大规模多模态大模型提供稳定、高效、低成本的运行环境
最低要求
硕士及以上学历，计算机科学、人工智能等相关专业，具备3年以上AI基础设施或大规模分布式系统研发经验
精通Python/C++/Go等至少一种编程语言，具备扎实的分布式系统设计能力
深入掌握Kubernetes集群的高可用架构设计与大规模运维，熟悉容器编排、存储优化及网络性能调优方法论
熟悉VLLM、SGLang等推理框架的底层机制，有基于LLM的向量化推理、动态批处理或模型并行优化经验者优先
熟练掌握Prometheus、Grafana、OpenTelemetry等可观测性工具链，具备复杂故障场景的根因分析能力
工作职责
主导高扩展性、高吞吐量AI基础设施平台的设计与构建，基于VLLM、SGLang等前沿推理框架，搭建支持多模态大模型的分布式推理系统，实现动态资源调度与低延迟响应
构建智能化资源调度策略与弹性扩缩容机制，保障高并发场景下推理服务的稳定性与资源利用率最大化
解决大规模分布式场景下的性能瓶颈，优化GPU集群资源利用率及端到端推理吞吐量，降低推理成本并提升TTFT、TPOT等指标
跟踪AI基础设施领域（AI Infra）技术趋势，包括但不限于分布式推理优化、模型即服务（MaaS）、自动化模型部署（AutoML）等，结合业务场景进行技术选型与创新性实践
设计并实现AI推理服务效能监控看板与端到端可观测性（Observability）系统，通过实时指标分析（如token消耗、GPU利用率、延迟分布）驱动业务侧资源优化
构建数据驱动的A/B测试与成本分析模型，为业务决策提供量化依据，助力模型服务化全生命周期管理
优先资格
有基于LLM的向量化推理、动态批处理或模型并行优化经验者优先
AI 洞察
优缺点分析
优点
- 技术前沿且核心：直接参与大模型时代最关键的AI基础设施建设，接触最前沿的推理框架与GPU集群技术
- 平台与资源支持：背靠大型技术公司，拥有大规模集群和复杂业务场景进行技术实践与验证
- 技术复杂度高：需要同时精通分布式系统、云原生、AI推理优化等多个深度领域，学习曲线陡峭
- 快速的技术迭代：AI Infra领域技术更新快，需要持续跟踪并应用最新技术方案
缺点 / 挑战
- 解决高难度问题：工作涉及高并发、高性能、成本控制等硬核挑战，技术成长天花板高
- 性能压力与稳定性要求：平台需保障核心业务的稳定运行，对故障排查与快速响应能力要求高
- 适合拥有扎实分布式系统背景，对构建高效、稳定的AI计算平台有浓厚兴趣，并乐于解决大规模系统性能瓶颈的技术型求职者
角色解读
- 技术专家路线：深耕AI Infra领域，成为分布式系统或AI性能优化领域的技术专家/架构师
- 技术管理路线：带领小团队负责AI基础设施的某一模块或方向，向技术经理发展
- 向AI系统全栈延伸：结合算力、框架与算法，向AI平台或MLOps方向拓展能力
- 设计和构建基于前沿推理框架（如VLLM）的分布式AI推理平台，支撑多模态大模型服务
- 负责AI服务的资源调度、弹性扩缩容与性能优化，确保在高并发下服务的稳定与低成本
- 建设AI服务的全链路可观测性系统，通过监控、A/B测试和成本分析驱动服务迭代与业务决策
- 扎实的分布式系统设计与开发能力，精通至少一门语言（Python/C++/Go）
- 深入理解容器化技术（Kubernetes）与云原生生态，具备集群管理与运维经验
- 熟悉AI推理引擎（VLLM/SGLang）及GPU集群性能调优，有大模型服务部署或优化经验
申请策略
- 研究平头哥（T-Head）在AI芯片与计算平台方面的公开技术文章和演讲，了解其技术栈和业务重点，在面试中体现针对性
- 准备一个你曾解决的、最复杂的大规模系统性能问题的案例，清晰描述问题、分析过程、解决方案和最终收益
- 突出在Kubernetes集群管理、大规模分布式系统开发与优化方面的项目经验与量化成果（如资源利用率提升、延迟降低百分比）
- 强调对AI推理框架（如VLLM、SGLang）或大模型服务化部署的具体实践，有性能调优或贡献经历更佳
- 展示在系统监控与可观测性（如Prometheus、Grafana）方面的经验，体现通过数据驱动优化系统的思维
- 深入研究1-2个开源推理框架（如VLLM）的源码，理解其核心设计（如PagedAttention）
- 实践构建一个包含监控、自动扩缩容的微服务系统，模拟AI推理服务场景，巩固全链路知识
- 跟进AI Infra领域的最新技术动态（如模型并行、量化推理、新型调度器），形成自己的技术见解
面试指南
- 回答系统设计或优化问题时，采用“背景-目标-技术选型-实现细节-效果数据”的结构化陈述，突出技术深度和量化结果
- 对于框架或技术原理问题，先概括核心思想，再结合具体场景说明其价值，最后可提及其局限或与其他方案的对比
- 排查问题类问题，按“现象定位-链路分析-工具使用-根因定位-解决/预防”的逻辑展开，体现系统化思维
- 请描述一个你主导的高并发分布式系统项目，遇到了哪些性能瓶颈？你是如何分析和优化的？
- 如果让你为一个支持多模态大模型的推理服务设计资源调度和扩缩容策略，你会如何考虑？
- 你了解VLLM或SGLang吗？简述一下它们解决大模型推理效率问题的核心思路
- 如何设计一个AI推理服务的端到端监控系统？你会关注哪些关键指标？
- 当线上AI推理服务出现延迟突增时，你的排查思路和步骤是什么？
职位点评
薪资福利85
成长发展90
工作生活60
使命价值70
薪资福利
85较高
该职位属于大型技术公司的核心研发岗位，通常提供具有市场竞争力的薪酬福利。虽然JD未明确提及具体福利，但基于其岗位级别和公司属性，补偿性动机能满足较好。
薪资信号市场水准 (35K-60K/月)
成长发展
90较高
职位处于AI基础设施这一技术前沿领域，要求掌握分布式系统、云原生、AI推理优化等硬核技能，技术成长性强，且在大平台有实践机会。
技术前沿前沿/新兴技术
技术栈VLLM、SGLang、Kubernetes、分布式系统、GPU集群、Prometheus、Grafana、OpenTelemetry
成长机会跟踪AI基础设施领域（AI Infra）技术趋势、结合业务场景进行技术选型与创新性实践
业务类型profit_center
工作生活
60中等
JD未明确说明工作模式和WLB相关信息，根据岗位性质推测为现场办公。在大型技术公司核心研发岗位，工作节奏可能较快，生活化动机满足程度有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI基础设施是人工智能产业的核心支撑，技术发展迅速且应用广泛。参与构建支撑大模型服务的基础设施，能带来一定的技术使命感，但具体业务影响在JD中未深入阐述。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs