Sugon logo
中科曙光
SGLang 推理框架架构师(天津)(J14527)

SGLang 推理框架架构师(天津)(J14527)

发布于 2 小时前

普通员工/个人贡献者

AI 估算 · 4.0–7.0万 · AI 参考估算
高级经验
学历未注明
全职员工仅现场办公AI算法
AI算法
Cuda/Rocm
Maas
Sglang
Vllm
分布式推理
性能优化
海光Dcu

值不值得投

81综合评分

综合评分 81

高薪稳定大厂、前沿AI系统技术栈、高成长空间、常规现场办公

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

5.5万

比AI算法中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 610 个在招

市场机会

选择不多

天津 · AI算法 · 1 个在招

职位详情

关于这个职位

负责SGLang推理框架在海光DCU上的深度适配与性能优化,主导分布式推理架构设计与服务化落地

需精通Python/CUDA编程及MoE/MLA模型原理,通过底层算子优化提升大规模训推的吞吐与延迟竞争力,并推动MaaS产品化进程

最低要求

年以上高性能计算或推理框架经验,有从0到1主导框架落地或大规模推理服务化经验

精通Python,具备扎实的CUDA/ROCm/HIP或国产加速卡(如DCU)编程能力
清楚MoE(混合专家)与MLA(多头潜在注意力)模型推理原理,包括专家路由、负载均衡、KV Cache压缩等
熟练掌握SGLang、vLLM、Dynamo等推理框架,具备源码级理解能力
熟悉分布式推理技术,包括TP/PP/EP并行、NCCL/自研通信及AllReduce优化
具备将单卡性能转化为服务SLO和单位算力成本优化的能力,能基于数据做架构决策

工作职责

路线规划:制定SGLang落地路线图,定义性能基线与对标目标,主导与模型、硬件团队的联合优化

框架适配:主导SGLang到海光DCU的适配工作(涵盖算子、通信、显存),保障正确性与精度
性能优化:在吞吐、TTFT/TPOT、批调度、KV Cache、PagedAttention、Speculative Decoding等方向进行深度优化
分布式推理:设计TP/PP/EP并行与通信优化方案,覆盖Prefill/Decode分离、MoE、Long Context及量化路线
服务化:将框架能力抽象为MaaS产品能力,定义对客SLO与单位算力成本模型,设计调度、弹性、多副本、灰度发布及可观测性体系
团队建设:培养框架团队,建立Code Review机制与工程质量标准

优先资格

拥有海光DCU、昇腾、寒武纪等国产化算力适配经验

曾向SGLang/vLLM上游贡献PR或参与知名开源项目
具备推理算力调度(K8s/Volcano结合)、弹性扩缩容经验
拥有FP8/INT4/AWQ/GPTQ量化落地与精度保障经验

AI 洞察

优缺点分析

优点

  • 处于AI基础设施核心层,技术壁垒高,接触最前沿的LLM推理优化技术
  • 依托上市大厂资源,拥有真实的超大规模业务场景和数据支撑
  • 国产化算力适配方向符合政策趋势,职业护城河深
  • 技术栈极深,需同时兼顾软件框架与底层硬件特性,学习曲线陡峭
  • 国产化生态仍在完善中,可能面临兼容性与工具链不成熟的困扰
  • 适合追求技术深度、热衷于底层系统优化、对AI基础设施有浓厚兴趣的高级工程师
  • 具备极强的问题解决能力和跨团队协作精神

缺点 / 挑战

  • 性能优化往往面临极限挑战,需处理复杂的并发与通信问题

角色解读

  • 可向首席AI基础设施架构师、AI系统技术总监发展
  • 也可转向更广泛的云原生AI平台架构或国产化算力生态建设领域,成为行业内的稀缺复合型专家
  • 负责SGLang推理框架在海光DCU硬件上的深度适配与性能调优,解决底层算子、通信及显存瓶颈
  • 设计分布式推理架构(如TP/PP并行),将框架能力封装为MaaS产品,定义服务SLA与成本模型
  • 指导团队建立工程规范,推动技术落地
  • 精通Python及CUDA/ROCm/HIP底层编程,深入理解SGLang/vLLM源码
  • 掌握MoE/MLA等先进模型推理原理及分布式并行策略
  • 具备高性能计算优化经验,熟悉国产化算力平台(如海光DCU)

申请策略

  • 准备展示你对SGLang/vLLM源码的理解,最好能指出其架构优缺点或提出改进思路
  • 了解中科曙光在海光DCU生态中的布局,体现对公司战略方向的认同
  • 突出从0到1搭建或优化推理框架的经历,量化性能提升指标(如吞吐量提升X%,延迟降低Y%)
  • 详细列出对SGLang/vLLM源码的贡献或深度定制案例
  • 强调在特定硬件(如GPU/DCU)上的底层编程与优化经验
  • 深入研究MoE、MLA等新型模型架构的推理机制
  • 加强分布式训练/推理通信库(如NCCL, HCCL)的原理与实践
  • 关注国产AI芯片(海光、昇腾)的软件栈特性

面试指南

  • 使用STAR法则(情境、任务、行动、结果)描述项目经历,重点突出技术选型的权衡过程、遇到的具体技术难点及量化成果
  • 对于架构类问题,先阐述通用原则,再结合具体场景给出定制化方案
  • 请详细描述你优化过的最复杂的推理框架场景,遇到了哪些瓶颈,如何解决的?
  • 对比SGLang和vLLM,你认为各自的优劣是什么?在什么场景下会选择SGLang?
  • 如何在海光DCU上实现高效的算子融合与内存管理?
  • 解释一下MoE模型中的专家路由负载均衡策略及其在推理阶段的挑战
  • 如何设计一个支持弹性扩缩容的MaaS推理服务网关?
  • 复习CUDA/ROCm编程模型及常见优化技巧

职位点评

薪资福利85
成长发展92
工作生活60
使命价值80

薪资福利

85较高

作为上市大型企业的核心研发岗位,薪资水平处于市场中高位,且提供稳定的职业发展平台,对补偿性动机满足度较高。

薪资信号未披露(AI估算:4.0千–7.0万/月)

成长发展

92较高

职位涉及AI基础设施最前沿的技术栈(SGLang, MoE, DCU适配),技术挑战性极高,能极大提升个人在AI系统领域的专业深度,发展性动机满足度极高。

技术前沿前沿/新兴技术
技术栈SGLang、vLLM、CUDA、ROCm、MoE、MLA、DCU、Kubernetes
业务类型profit_center

工作生活

60中等

高技术难度岗位通常伴随较高的工作压力,且未提及弹性工作制,推测为常规现场办公模式,生活化动机满足度中等。

工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)

使命价值

80较高

致力于提升国产算力效率与AI基础设施竞争力,具有显著的行业价值和社会意义,意义感动机满足度较高。

行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs