Watch Jobs
Ant Group logo
蚂蚁集团
蚂蚁集团-大模型推理优化工程师-杭州
立即应聘

蚂蚁集团-大模型推理优化工程师-杭州

发布于 大约 15 小时前

普通员工/个人贡献者

杭州市
专家级经验
全职员工
仅现场办公
本科
机器学习工程

AI 估算 · 40k–70k

大厂资深技术岗，AI领域高需求，薪资竞争力强，16薪。

职位详情

关于这个职位

该职位负责蚂蚁集团大模型推理服务的设计、开发与性能优化，聚焦吞吐、时延、显存等关键指标，涉及调度策略、算子优化、GPU访存等方向

你将参与大规模分布式推理、多模态推理等前沿技术落地，打造SOTA推理性能
适合具备深厚GPU优化经验、熟悉主流推理引擎的资深工程师

最低要求

● 熟悉 Python、C++，具备扎实的工程开发和问题分析能力

具备 Triton 或 CUTLASS 研发经验者优先
● 熟悉大模型推理引擎，如SGLang, vLLM, TensorRT-LLM等，有开源项目贡献、技术论文或性能优化成果优先
● 具备 GPU 性能优化经验，理解 GPU 架构、算子执行、显存及访存机制
能够使用 Profiling 工具深入分析底层性能瓶颈，并针对性完成优化
● 具备全模态或Diffusion推理优化经验，熟悉文本、图像、音频、视频等多模态输入输出链路，具备从模型结构分析、算子优化到推理服务落地的完整实践经验

工作职责

● 负责大模型推理服务的设计、开发、部署与稳定性建设

● 围绕吞吐、时延、显存占用及服务并发能力开展推理性能优化，覆盖调度策略、算子优化、GPU访存、通信效率及并行执行等方向
● 面向大规模分布式推理、多模态推理、模型量化与稀疏计算等方向，跟踪业界前沿技术并推进落地，持续打造 SOTA 推理性能

AI 洞察

优缺点分析

优点

  • 大模型领域是当前热点，技能积累具有高市场价值
  • 薪资和福利优厚，职业发展空间大
  • 技术难度高，需要深入理解GPU底层架构和性能优化
  • 工作强度可能较大，需要持续跟进前沿技术
  • 竞争激烈，需要不断产出成果
  • 适合对GPU优化有热情、具备扎实底层技术功底、追求技术卓越的工程师

缺点 / 挑战

  • 蚂蚁集团平台大，技术挑战高，能接触大规模分布式推理场景

角色解读

  • 技术专家路线：成为推理优化领域的专家，主导关键技术决策
  • 技术管理路线：带领团队负责推理平台建设，向技术管理方向发展
  • 横向发展：可转向AI基础设施、云原生等方向，拓宽技术广度
  • 设计并开发大模型推理服务，确保高并发下的稳定性和性能
  • 深入分析GPU性能瓶颈，通过算子优化、调度策略等手段提升吞吐和降低延迟
  • 跟踪并落地前沿技术，如分布式推理、多模态推理、模型量化等
  • 精通Python和C++，具备扎实的工程能力
  • 熟悉主流推理引擎（如vLLM、SGLang）和GPU架构，有性能优化经验
  • 掌握Profiling工具，能定位并解决底层性能问题

申请策略

  • 了解蚂蚁集团的技术栈和业务方向，在面试中展示对金融场景的理解
  • 准备性能优化案例，突出量化成果
  • 突出GPU优化项目经验，如算子优化、显存优化等，量化性能提升
  • 强调对推理引擎（如vLLM）的深入理解和贡献
  • 展示C++/Python的工程能力，以及问题分析解决能力
  • 熟悉主流推理引擎源码，如vLLM的调度和算子实现
  • 学习GPU架构和CUDA编程，掌握Profiling工具
  • 关注多模态推理和量化技术的最新进展

面试指南

  • 使用STAR法则：情境-任务-行动-结果，突出量化成果
  • 展示系统性思考：从问题分析、方案设计到实施验证
  • 强调对底层原理的理解，避免只谈表面
  • 如何优化大模型推理的吞吐和时延？请举例说明
  • 介绍你使用Profiling工具定位性能瓶颈的经验
  • 如何设计一个支持多模态输入的推理服务？
  • 谈谈你对vLLM或SGLang等推理引擎的理解
  • 如何解决GPU显存不足的问题？

职位点评

77
综合评分

技术前沿、薪资高，但工作强度可能较大，WLB一般。

从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。

更适合这类人
适合追求技术成长、对前沿技术有热情、能接受高强度工作的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展90
工作生活50
使命价值70

薪资福利

85较高

薪资水平高，福利完善，但JD未明确具体薪资和福利细节。

薪资信号未披露（AI估算：40K-70K/月）

成长发展

90较高

技术前沿，涉及大模型优化，成长空间大，但JD未提及晋升机制。

技术前沿前沿/新兴技术
技术栈Python、C++、Triton、CUTLASS、SGLang、vLLM、TensorRT-LLM、GPU、Profiling、多模态推理、量化、稀疏计算
业务类型profit_center

工作生活

50较低

工作地点在杭州，未提及远程或弹性工作，可能工作强度较大。

工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）

使命价值

70中等

蚂蚁集团在金融科技领域有影响力，但JD未强调社会价值。

行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术

蚂蚁集团 的其他在招职位

相似职位推荐

Watch Jobs