阿里巴巴
AI推理平台-百炼AI Infra技术专家/高级开发工程师-北京/杭州
AI推理平台-百炼AI Infra技术专家/高级开发工程师-北京/杭州
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公架构师
架构师
Ai Infra
Api设计
Pytorch
Vllm
分布式系统
大模型
系统架构
值不值得投
76综合评分
综合评分 76
前沿AI Infra技术岗，技术成长性强，但工作模式与WLB信息不明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
38K
比架构师中位数低
发布情况
新岗位 · 2 天前发布
公司情况
这家公司招聘很活跃
约 2430 个在招 · 其中架构师 20 个
市场机会
选择适中
杭州 · 架构师 · 44 个在招
职位详情
关于这个职位
该职位是阿里巴巴百炼AI Infra团队的技术专家/高级开发工程师，负责构建和优化面向LLM/MLLM场景的AI推理平台
工作内容包括设计高可用的模型服务API、构建智能体服务框架、以及保障线上服务的稳定性与性能，致力于将大模型能力以稳定易用的开放API形式服务行业客户
最低要求
计算机/软件工程/人工智能相关专业，熟悉 Python/C++/Rust 编程语言
具备 2 年及以上大模型架构、AI Infra 或者分布式系统开发相关工作经验，有使用PyTorch/TensorFlow等机器学习框架的经验
具有良好的系统设计能力，能够设计可扩展、高效的系统架构
具备出色的问题解决能力，能够快速定位并解决技术难题
有强烈的责任心，具备良好的沟通能力、执行力及团队合作精神
工作职责
模型服务 API：负责设计高可用服务架构与端到端业务方案，适配一方 Qwen 模型及第三方开源模型
对外提供覆盖智能对话、代码生成、图像/视频理解、向量化、排序等场景的基础 API，并参与流量控制、任务调度、缓存等核心链路建设
智能体服务化：面向通用人工智能场景，构建高效、可扩展的 Agent 框架，集成搜索引擎、文档理解、代码沙箱等能力
支持 OAI Responses API、Anthropic Messages API 等行业主流 Agentic API，充分释放模型能力，服务各行业客户
稳定性和效率：在百炼诸多模型和海量请求的场景中，保障线上服务稳定性，在毫秒级别持续提升端到端链路性能，推进 TTFT、TPOT、Cache 命中率等核心指标优化
保障服务质量，参与大规模 CI/CD 体系建设，持续提升研发效率、功能正确性与交付质量
优先资格
有使用vllm/sglang等推理引擎使用经验的优先，有算法框架研发经验的优先
AI 洞察
优缺点分析
优点
- 接触LLM/MLLM等前沿AI技术栈，直接参与大模型平台的核心构建，技术成长空间大
- 工作涉及高并发、分布式系统等复杂场景，能深度积累大规模系统设计经验
- 职位属于基础平台团队，对业务有广泛影响力，成果易于量化
- 技术栈快速演进，需持续学习大模型、推理引擎等新兴技术
缺点 / 挑战
- 需应对高并发、低延迟的苛刻性能要求，对系统优化能力挑战大
- 跨团队协作频繁，对沟通和问题解决能力要求较高
- 适合具备扎实编程基础、有分布式系统或AI Infra经验，并热衷于解决大规模AI部署挑战的技术型求职者
角色解读
- 可向AI系统架构师、技术专家方向发展，专注于大规模模型部署和性能优化
- 有机会深入参与前沿AI Infra技术研发，成为团队技术负责人或转向AI平台产品经理角色
- 负责设计和实现高可用的AI模型服务API，适配各类大模型并提供智能对话、代码生成等基础能力
- 构建可扩展的智能体（Agent）框架，集成多种工具和服务，以支持通用人工智能应用场景
- 优化AI推理平台的稳定性与性能，包括毫秒级响应、缓存命中率等核心指标，并参与大规模CI/CD体系建设
- 精通Python/C++/Rust编程，并具备2年以上AI Infra或分布式系统开发经验
- 熟悉大模型架构和机器学习框架（如PyTorch/TensorFlow），有vllm/sglang等推理引擎经验者优先
- 具备出色的系统设计能力，能够架构可扩展、高效的后端服务
申请策略
- 在申请材料中强调对AI Infra领域的热情和持续学习能力，因为该技术方向变化快
- 可以提前研究百炼平台的技术博客或公开文档，面试中展现对业务的了解
- 重点突出大模型、AI Infra或分布式系统的项目经验，特别是涉及API设计、性能优化的部分
- 详细描述使用Python/C++/Rust解决复杂技术难题的案例，以及架构设计能力
- 列举使用PyTorch/TensorFlow、vllm等框架的具体成果，如性能提升指标
- 深入学习LLM推理引擎（如vllm/sglang）的原理和优化方法
- 加强系统设计面试准备，复习分布式系统、高可用架构相关知识
- 了解OAI Responses API、Anthropic Messages API等主流Agentic API的设计思想
面试指南
- 采用STAR法则（情境-任务-行动-结果）结构化回答，突出技术决策和量化成果
- 强调系统设计的权衡思考，如高可用与性能的平衡，可扩展性与复杂度的取舍
- 对于性能优化问题，结合具体指标（如缓存命中率、延迟）说明优化思路和工具使用
- 请描述一个你设计的高可用服务架构案例，如何保证系统的稳定性和扩展性？
- 在大模型推理场景下，如何优化TTFT和TPOT等性能指标？请结合具体技术方案说明
- 如果让你设计一个智能体（Agent）框架，你会如何集成搜索引擎和代码沙箱等能力？
- 面对海量请求，如何设计有效的流量控制和任务调度策略？
- 你在过往项目中是如何快速定位并解决技术难题的？
职位点评
薪资福利75
成长发展90
工作生活55
使命价值80
薪资福利
75中等
JD未明确提及薪资和福利信息，但基于职位层级和城市市场水平，预期薪酬具有一定竞争力。
薪资信号未披露（AI估算：25K-50K/月）
成长发展
90较高
该职位涉及大模型、AI Infra等前沿技术栈，提供深度技术实践和系统架构能力成长的机会。
技术前沿前沿/新兴技术
技术栈Python、C++、Rust、AI Infra、大模型、分布式系统、PyTorch、vllm、Agent框架
业务类型ambiguous
工作生活
55较低
JD未提及办公模式、工作时间或WLB相关信息，工作节奏可能因项目需求而有波动。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
该职位处于人工智能高速增长赛道，致力于提升大模型服务能力，对推动AI技术应用有积极影响。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs