阿里巴巴
千问事业部-大模型推理框架系统研发专家-杭州/北京/广州
千问事业部-大模型推理框架系统研发专家-杭州/北京/广州
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Gpu加速
Tensorrt-Llm
Vllm
分布式系统
大模型推理框架
系统架构
高性能计算
值不值得投
76综合评分
综合评分 76
阿里核心AI基建岗，技术栈前沿、成长天花板高，但需做好应对高强度研发节奏的心理准备
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
8.8万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3670 个在招 · 其中人工智能 约 370 个
市场机会
选择面较广
杭州 · 人工智能 · 约 440 个在招
职位详情
关于这个职位
负责大模型推理框架与分布式Serving系统的核心研发，面向语言模型及多模态场景构建高性能生产级引擎
优化Prefill/Decode分离、KV Cache管理等核心机制，提升推理吞吐与资源利用率
协同算法与业务团队落地量化、MoE优化等能力，保障线上性能、稳定性与成本目标
最低要求
精通C++/Python，熟悉CUDA编程和GPU推理系统开发，具备扎实的系统软件、分布式系统、并行计算和高性能服务端开发基础
深入理解大模型推理框架核心机制，包括Prefill/Decode、KV Cache管理、Continuous Batching、PagedAttention、Speculative Decoding、Quantization等
熟悉分布式推理并行与通信优化，包括Tensor Parallel、Pipeline Parallel、Expert Parallel、Context Parallel、MoE All-to-All、通信计算重叠、负载均衡等
熟悉GPU间和跨节点通信机制，了解NCCL、RCCL、MPI、UCX、RDMA、InfiniBand、NVLink、NVSwitch、PCIe等相关技术，具备端到端性能分析和问题定位能力
工作职责
参与大模型推理框架和分布式Serving系统的核心研发，面向语言模型、多模态模型和Agentic应用场景，建设高性能、高稳定性、高扩展性的生产级推理引擎
研发并优化Prefill/Decode分离、KV Cache管理、长上下文推理、多租户调度、连续批处理、SLO感知调度等核心系统能力，提升TTFT、TPOT、吞吐和资源利用率
参与分布式推理并行与通信优化，包括Tensor Parallel、Pipeline Parallel、Expert Parallel、Context Parallel、MoE All-to-All、跨机通信重叠、负载均衡和故障恢复等
协同算子、模型压缩、模型算法和业务团队，推动量化、投机解码、MoE优化、多模态推理、长上下文优化等能力在推理框架中生产落地，解决线上性能、稳定性和成本优化问题
优先资格
熟悉vLLM、SGLang、TensorRT-LLM等推理或服务框架，有核心模块开发、深度改造或生产级落地经验者优先
AI 洞察
优缺点分析
优点
- 直接参与国内头部大模型核心推理引擎建设，技术视野与项目含金量极高
- 接触最前沿的MoE、Speculative Decoding、PagedAttention等工业级落地场景
- 依托大厂海量算力集群与真实高并发流量，性能优化成果可快速验证与复用
- 团队技术氛围浓厚，内部技术分享与专利产出机会丰富
- 涉及底层硬件与系统软件交叉优化，调试周期长且对数学/计算机体系结构功底要求极高
- 技术迭代极快，需持续跟踪学术界最新论文并快速转化为工程实现
- 适合具备扎实计算机系统功底、热爱底层性能调优且能承受高压研发节奏的资深工程师
缺点 / 挑战
- 线上服务SLA要求严格，突发流量下的性能压测与故障排查压力较大
角色解读
- 向AI基础设施架构师或首席科学家方向发展，主导下一代推理引擎标准制定
- 横向拓展至模型编译、算子融合或云原生AI平台领域，成为全栈AI系统专家
- 转向技术管理路线，带领大型分布式AI系统研发团队，推动企业级AI基建升级
- 主导大模型推理框架与分布式Serving系统的核心代码开发与架构设计
- 针对Prefill/Decode分离、KV Cache、连续批处理等机制进行底层优化，提升推理效率
- 打通分布式并行训练与推理链路，优化跨节点通信、负载均衡与故障恢复策略
- 协同算法与业务团队，将量化、MoE、多模态等前沿能力转化为生产级可用模块
- 精通C++/Python，熟练掌握CUDA编程与GPU底层调试工具链
- 深入理解Transformer推理机制及主流开源框架（vLLM/SGLang/TensorRT-LLM）源码
- 具备分布式系统设计与高性能网络通信优化经验（NCCL/RDMA/InfiniBand）
- 拥有端到端性能剖析能力，能独立定位内存泄漏、算力瓶颈与调度延迟问题
申请策略
- 提前研究千问系列模型的官方技术报告，了解其推理部署现状与潜在瓶颈
- 准备1-2个完整的性能优化闭环案例，涵盖 profiling、瓶颈分析、方案设计与上线效果
- 突出GPU/CUDA内核优化案例，量化吞吐量提升比例与延迟降低数据
- 详细列出参与的分布式通信库二次开发或推理框架核心模块贡献
- 强调在高并发生产环境中的性能监控、压测与故障根因定位经验
- 展示对vLLM/SGLang等主流框架的源码阅读记录或Patch提交情况
- 补充计算机体系结构与编译器原理知识，掌握PTX汇编与性能计数器分析
- 动手复现经典推理优化论文（如PagedAttention、FlashAttention），熟悉Benchmark工具链
面试指南
- 采用STAR法则结构化回答，重点突出问题背景、技术选型依据、具体实施步骤与量化结果
- 结合底层原理（如显存带宽、PCIe/NVLink拓扑、通信计算重叠）解释优化逻辑，避免停留在API调用层面
- 展现系统性思维，将单点优化延伸至架构设计、监控告警与自动化回归测试的全链路视角
- 请详细描述一次你通过CUDA Kernel优化显著提升GPU利用率的经历，遇到了哪些瓶颈？
- 对比vLLM与SGLang的调度策略差异，你认为各自适用的业务场景是什么？
- 在多卡多机环境下，如何设计负载均衡与容错机制以保证MoE推理的稳定性？
- 面对突发的长文本请求洪峰，你的推理引擎会如何动态调整KV Cache分配与批处理策略？
- 复习分布式系统经典理论（一致性协议、分片策略）及其在AI推理场景的适配改造
职位点评
薪资福利80
成长发展92
工作生活45
使命价值78
薪资福利
80较高
专家级技术岗通常匹配具有竞争力的薪酬包，但JD未明确披露具体薪资与福利细节，实际待遇需以Offer为准。
薪资信号未披露（AI估算：6.5千–11.0万/月）
成长发展
92较高
岗位直接对接大模型推理前沿技术，提供接触工业级AI基建的机会，技术成长空间与行业壁垒极高。
技术前沿前沿/新兴技术
技术栈C++、Python、CUDA、vLLM、SGLang、TensorRT-LLM、MoE、KV Cache、PagedAttention
业务类型ambiguous
工作生活
45较低
JD未提及办公模式与工时安排，互联网大厂核心研发岗通常伴随较高的交付压力与技术攻坚强度。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
78中等
致力于构建高性能通用推理底座，推动AI技术普惠化落地，具备较强的行业前瞻性与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs