蚂蚁集团
网商银行-AI-Infra工程师-推训方向
网商银行-AI-Infra工程师-推训方向
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Gpu
Nccl
Rdma
Sglang
Tensorrt-Llm
Vllm
分布式训练
大模型
值不值得投
77综合评分
综合评分 77
蚂蚁集团大模型AI Infra核心岗，技术栈前沿且成长空间巨大，薪资竞争力强，但技术挑战与线上保障压力较高。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.3万
比高性能计算中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 810 个在招
市场机会
选择适中
杭州 · 高性能计算 · 17 个在招
职位详情
关于这个职位
该职位主要负责大模型分布式训练与推理框架的研发与性能优化，与算法团队协作适配新模型结构，并参与GPU/异构集群的资源调度与成本优化，保障线上推理服务的高可用与高吞吐
最低要求
年及以上 AI Infra、AI 系统、高性能计算或分布式系统相关研发经验
熟悉GPU 体系结构与 CUDA 编程，了解国产加速芯片（昇腾 NPU、平头哥 PPU 等）及配套软件栈者优先
熟悉SGLang、vLLM、TensorRT-LLM 等至少一种主流推理框架，有实际性能优化经验
具备分布式通信（NCCL、RDMA）及 Linux 系统级性能分析能力
良好的工程素养与协作能力，能将技术方案落地为稳定、可维护的工程产物
工作职责
负责大模型分布式训练与推理框架的研发和性能优化，持续提升训练效率、推理吞吐、资源利用率及系统稳定性
与算法团队紧密协作，针对新模型结构（Dense/MoE等）提供框架层面的支持与适配，支撑算法高效迭代与算力高效利用
建设推理服务的可观测性与容错能力，完善监控、诊断、限流、降级与故障恢复机制，保障线上服务 SLA
调研、评估并推动 SGLang、vLLM、TensorRT-LLM、FlashInfer、Triton Inference Server 等前沿推理框架及优化技术在内部落地
参与GPU/异构集群的资源调度与成本优化，提升整体算力利用效率
优先资格
了解国产加速芯片（昇腾 NPU、平头哥 PPU 等）及配套软件栈者优先
AI 洞察
优缺点分析
优点
- 处于大模型与AI算力爆发的核心赛道，技术栈前沿（SGLang、vLLM、CUDA等），技术壁垒高
- 个人核心竞争力强，在AI底层系统优化领域的经验具有极高的市场稀缺性
- 适合对底层系统、高性能计算和AI算力优化有浓厚兴趣，具备扎实C++/CUDA功底，且能在高压环境下解决复杂工程问题的技术极客
缺点 / 挑战
- 依托蚂蚁集团庞大的业务场景，能接触到超大规模集群和真实的复杂工程挑战
- 大模型迭代极快，需要持续跟进最新的框架和模型结构，学习压力较大
- 底层系统优化和分布式调试难度高，排查问题耗时耗力，且需承担线上SLA保障压力
角色解读
- 可向AI Infra架构师、大模型系统专家方向发展，深入异构计算与AI芯片底层优化
- 有机会带领团队负责整体AI算力平台的规划、建设与成本优化
- 研发和优化大模型分布式训练与推理框架，提升算力利用率和系统稳定性
- 与算法团队合作，适配Dense/MoE等新模型结构，提供框架层面的底层支持
- 建设推理服务的监控、容错与降级机制，保障线上服务的高可用性与SLA
- 熟悉GPU体系结构与CUDA编程，掌握分布式通信（NCCL/RDMA）及Linux系统级性能分析
- 熟悉SGLang、vLLM等主流推理框架并有实际性能优化经验
- 具备扎实的分布式系统和高性能计算工程能力，能将技术方案落地为稳定产物
申请策略
- 了解蚂蚁集团在大模型领域的业务布局，在面试中展现对AI Infra如何赋能业务算法迭代的系统性思考
- 突出在分布式训练/推理框架上的实际优化成果，如吞吐提升百分比、资源利用率提升等量化数据
- 详细列出使用过的推理框架（vLLM/SGLang等）及CUDA/NCCL相关项目经验
- 强调解决过的复杂系统级性能瓶颈或线上故障排查案例
- 深入学习MoE模型结构的推理优化原理及显存管理策略
- 熟悉Triton编程及FlashInfer等最新加速技术，了解国产算力芯片的适配开发
面试指南
- 采用STAR法则，重点突出“问题背景-技术难点-解决方案-量化收益”
- 对于系统设计题，从架构分层、监控告警、故障演练等维度全面展开，体现工程素养
- 请介绍一个你主导过的推理框架性能优化项目，具体提升了多少指标？
- 在分布式训练中，NCCL通信瓶颈通常如何排查和优化？
- 针对MoE模型结构，推理框架在显存管理和计算调度上需要做哪些特殊适配？
- 如何设计推理服务的容错与降级机制以保障线上SLA？
- 复习CUDA编程模型、GPU内存层级及分布式通信原理
- 提前阅读vLLM、SGLang等框架的源码或核心论文（如PagedAttention），准备深度技术探讨话题
职位点评
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
蚂蚁集团作为头部企业，AI Infra核心岗位薪资具备较强市场竞争力，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：3.0千–5.5万/月）
成长发展
95较高
岗位处于大模型与AI算力最前沿，技术栈极具挑战性，能深度接触顶尖开源框架及国产芯片适配，技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈大模型、分布式训练、推理框架、CUDA、GPU、SGLang、vLLM、TensorRT-LLM、FlashInfer、NCCL、RDMA
业务类型ambiguous
工作生活
40较低
JD未提及工作模式与WLB相关信息，但AI Infra及大模型底层优化岗位通常面临较高的线上稳定性保障压力和较快的技术迭代节奏。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于大模型底层算力优化与框架建设，推动AI技术落地，具有较高的技术使命感与行业前沿探索价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
蚂蚁集团 的其他在招职位
相似职位推荐
Watch Jobs