阿里巴巴
Token Foundry-云端推理服务技术专家-北京/杭州
Token Foundry-云端推理服务技术专家-北京/杭州
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公后端开发
后端开发
Go
Gpu资源调度
Onnx Runtime
Opentelemetry
Tensorrt-Llm
Triton Inference Server
Vllm
模型服务化
值不值得投
78综合评分
综合评分 78
大模型AI Infra核心岗，技术前沿、薪资偏高、成长空间大，但业务压力与稳定性要求较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
与后端开发中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3010 个在招 · 其中后端开发 76 个
市场机会
选择面较广
北京 · 后端开发 · 约 380 个在招
职位详情
关于这个职位
该职位负责设计并构建面向多模态大模型的云端推理服务平台，主导端云协同架构中的模型服务化、动态批处理及弹性扩缩容等核心模块
你需要优化推理链路的延迟与吞吐，并与算法团队协作落地量化部署等联合优化方案，保障ToB客户的高可用SLA
最低要求
计算机科学、软件工程或相关专业硕士及以上学历，3年以上后端/云服务/推理平台开发经验
精通Go/Python/C++至少一种语言，具备扎实的系统编程和高并发服务开发能力
熟悉主流推理框架（如Triton Inference Server、vLLM、TensorRT-LLM、ONNX Runtime）及模型服务化最佳实践
有大规模AI服务部署经验，熟悉GPU资源调度、模型版本管理、冷启动优化、长尾请求处理等典型问题
有ToB项目交付经验，能理解客户需求并转化为可靠、可运维的技术方案
工作职责
设计并构建面向多模态交互（语音、视觉、语言、上下文融合）的云端推理服务平台，支持Omni/Speech/VL等大模型的在线/近线推理
主导端云协同架构中云端服务模块的技术方案，包括模型服务化（Model Serving）、动态批处理（Dynamic Batching）、请求调度、弹性扩缩容、负载均衡等关键能力
优化云端推理链路的延迟、吞吐与资源利用率，针对ToB客户对SLA（如99.9%）构建统一的服务治理框架，集成监控告警、日志追踪（如OpenTelemetry）、AB测试、灰度发布、故障自愈等运维能力
与算法团队紧密协作，推动模型结构适配、量化部署、缓存策略等端云联合优化方案落地
AI 洞察
优缺点分析
优点
- 处于AI大模型核心基础设施领域，技术前沿且壁垒高
- 依托海量ToB客户与算力资源，能接触大规模真实业务场景
- 技术专家岗位，个人技术深度与架构能力将得到极大锻炼
- 大模型推理优化涉及底层硬件与框架，技术难度极大，需持续跟进前沿技术
- 具备扎实后端与系统编程基础，对AI Infra、大模型推理优化有浓厚兴趣，且抗压能力强的技术极客
缺点 / 挑战
- ToB客户对SLA要求极高，线上故障排查与性能优化压力较大
角色解读
- 可向AI基础设施架构师、大模型平台技术负责人方向发展
- 在AI大模型爆发的背景下，积累底层推理优化与高并发服务治理经验，成为AI Infra领域的稀缺专家
- 负责大模型云端推理服务平台的架构设计与核心模块开发，包括模型服务化、动态批处理、弹性扩缩容等
- 优化推理链路的延迟、吞吐与资源利用率，构建高可用的服务治理与运维框架
- 与算法团队协作，推动模型量化部署与端云联合优化方案落地
- 精通Go/Python/C++等至少一种语言，具备扎实的高并发系统编程能力
- 熟悉Triton、vLLM等主流推理框架及GPU资源调度
- 具备大规模AI服务部署及ToB项目交付经验
申请策略
- 了解通义千问等大模型的业务形态及ToB交付模式，准备1-2个端到端解决复杂性能瓶颈的架构案例
- 突出在推理框架（如vLLM、Triton）上的二次开发或深度使用经验
- 量化过往项目中在延迟、吞吐或资源利用率上的具体优化指标
- 展示ToB高可用系统架构设计与SLA保障经验
- 深入学习CUDA编程或GPU底层调度原理，了解最新的大模型推理加速技术
- 熟悉OpenTelemetry等可观测性工具及云原生服务治理方案
面试指南
- STAR法则：情境（业务背景与痛点）、任务（目标与SLA要求）、行动（具体技术方案，如引入PagedAttention、优化调度策略）、结果（量化指标提升，如吞吐提升X倍，延迟降低Y%）
- 如何设计一个支持动态Batching和弹性扩缩容的大模型推理服务架构？
- 在优化推理链路延迟和吞吐时，你做过哪些具体的优化策略？效果如何？
- 针对ToB客户99.9%的SLA要求，你的服务治理和故障自愈框架是如何设计的？
- vLLM和Triton Inference Server在架构和适用场景上有什么区别？
- 复习高并发系统设计、分布式系统理论及云原生架构
- 深入了解当前主流大模型推理框架的底层原理（如KV Cache管理、Continuous Batching）
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
该职位作为技术专家岗位，薪资处于行业较高水平，且包含完善的福利体系与长期激励。
薪资信号偏高 (3千–5万/月)
成长发展
90较高
岗位处于AI大模型基础设施核心领域，技术极具前沿性，能接触大规模真实业务场景，成长空间巨大。
技术前沿前沿/新兴技术
技术栈Go、Python、C++、Triton Inference Server、vLLM、TensorRT-LLM、ONNX Runtime、OpenTelemetry、GPU资源调度
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，但技术专家岗位通常面临较高的业务压力与线上稳定性要求。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
推动大模型技术落地与商业化，赋能千行百业，具有较高的行业价值与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs