
中科曙光
SGLang 推理框架架构师(天津)(J14527)
SGLang 推理框架架构师(天津)(J14527)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Cuda/Rocm
Maas
Sglang
Vllm
分布式推理
性能优化
海光Dcu
值不值得投
81综合评分
综合评分 81
高薪稳定大厂、前沿AI系统技术栈、高成长空间、常规现场办公
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
5.5万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 610 个在招
市场机会
选择不多
天津 · AI算法 · 1 个在招
职位详情
关于这个职位
负责SGLang推理框架在海光DCU上的深度适配与性能优化,主导分布式推理架构设计与服务化落地
需精通Python/CUDA编程及MoE/MLA模型原理,通过底层算子优化提升大规模训推的吞吐与延迟竞争力,并推动MaaS产品化进程
最低要求
年以上高性能计算或推理框架经验,有从0到1主导框架落地或大规模推理服务化经验
精通Python,具备扎实的CUDA/ROCm/HIP或国产加速卡(如DCU)编程能力
清楚MoE(混合专家)与MLA(多头潜在注意力)模型推理原理,包括专家路由、负载均衡、KV Cache压缩等
熟练掌握SGLang、vLLM、Dynamo等推理框架,具备源码级理解能力
熟悉分布式推理技术,包括TP/PP/EP并行、NCCL/自研通信及AllReduce优化
具备将单卡性能转化为服务SLO和单位算力成本优化的能力,能基于数据做架构决策
工作职责
路线规划:制定SGLang落地路线图,定义性能基线与对标目标,主导与模型、硬件团队的联合优化
框架适配:主导SGLang到海光DCU的适配工作(涵盖算子、通信、显存),保障正确性与精度
性能优化:在吞吐、TTFT/TPOT、批调度、KV Cache、PagedAttention、Speculative Decoding等方向进行深度优化
分布式推理:设计TP/PP/EP并行与通信优化方案,覆盖Prefill/Decode分离、MoE、Long Context及量化路线
服务化:将框架能力抽象为MaaS产品能力,定义对客SLO与单位算力成本模型,设计调度、弹性、多副本、灰度发布及可观测性体系
团队建设:培养框架团队,建立Code Review机制与工程质量标准
优先资格
拥有海光DCU、昇腾、寒武纪等国产化算力适配经验
曾向SGLang/vLLM上游贡献PR或参与知名开源项目
具备推理算力调度(K8s/Volcano结合)、弹性扩缩容经验
拥有FP8/INT4/AWQ/GPTQ量化落地与精度保障经验
AI 洞察
优缺点分析
优点
- 处于AI基础设施核心层,技术壁垒高,接触最前沿的LLM推理优化技术
- 依托上市大厂资源,拥有真实的超大规模业务场景和数据支撑
- 国产化算力适配方向符合政策趋势,职业护城河深
- 技术栈极深,需同时兼顾软件框架与底层硬件特性,学习曲线陡峭
- 国产化生态仍在完善中,可能面临兼容性与工具链不成熟的困扰
- 适合追求技术深度、热衷于底层系统优化、对AI基础设施有浓厚兴趣的高级工程师
- 具备极强的问题解决能力和跨团队协作精神
缺点 / 挑战
- 性能优化往往面临极限挑战,需处理复杂的并发与通信问题
角色解读
- 可向首席AI基础设施架构师、AI系统技术总监发展
- 也可转向更广泛的云原生AI平台架构或国产化算力生态建设领域,成为行业内的稀缺复合型专家
- 负责SGLang推理框架在海光DCU硬件上的深度适配与性能调优,解决底层算子、通信及显存瓶颈
- 设计分布式推理架构(如TP/PP并行),将框架能力封装为MaaS产品,定义服务SLA与成本模型
- 指导团队建立工程规范,推动技术落地
- 精通Python及CUDA/ROCm/HIP底层编程,深入理解SGLang/vLLM源码
- 掌握MoE/MLA等先进模型推理原理及分布式并行策略
- 具备高性能计算优化经验,熟悉国产化算力平台(如海光DCU)
申请策略
- 准备展示你对SGLang/vLLM源码的理解,最好能指出其架构优缺点或提出改进思路
- 了解中科曙光在海光DCU生态中的布局,体现对公司战略方向的认同
- 突出从0到1搭建或优化推理框架的经历,量化性能提升指标(如吞吐量提升X%,延迟降低Y%)
- 详细列出对SGLang/vLLM源码的贡献或深度定制案例
- 强调在特定硬件(如GPU/DCU)上的底层编程与优化经验
- 深入研究MoE、MLA等新型模型架构的推理机制
- 加强分布式训练/推理通信库(如NCCL, HCCL)的原理与实践
- 关注国产AI芯片(海光、昇腾)的软件栈特性
面试指南
- 使用STAR法则(情境、任务、行动、结果)描述项目经历,重点突出技术选型的权衡过程、遇到的具体技术难点及量化成果
- 对于架构类问题,先阐述通用原则,再结合具体场景给出定制化方案
- 请详细描述你优化过的最复杂的推理框架场景,遇到了哪些瓶颈,如何解决的?
- 对比SGLang和vLLM,你认为各自的优劣是什么?在什么场景下会选择SGLang?
- 如何在海光DCU上实现高效的算子融合与内存管理?
- 解释一下MoE模型中的专家路由负载均衡策略及其在推理阶段的挑战
- 如何设计一个支持弹性扩缩容的MaaS推理服务网关?
- 复习CUDA/ROCm编程模型及常见优化技巧
职位点评
薪资福利85
成长发展92
工作生活60
使命价值80
薪资福利
85较高
作为上市大型企业的核心研发岗位,薪资水平处于市场中高位,且提供稳定的职业发展平台,对补偿性动机满足度较高。
薪资信号未披露(AI估算:4.0千–7.0万/月)
成长发展
92较高
职位涉及AI基础设施最前沿的技术栈(SGLang, MoE, DCU适配),技术挑战性极高,能极大提升个人在AI系统领域的专业深度,发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈SGLang、vLLM、CUDA、ROCm、MoE、MLA、DCU、Kubernetes
业务类型profit_center
工作生活
60中等
高技术难度岗位通常伴随较高的工作压力,且未提及弹性工作制,推测为常规现场办公模式,生活化动机满足度中等。
工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)
使命价值
80较高
致力于提升国产算力效率与AI基础设施竞争力,具有显著的行业价值和社会意义,意义感动机满足度较高。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
中科曙光 的其他在招职位
相似职位推荐
大模型平台算力运管与调度系统工程师/专家
小红书 · 北京市
AI 估算 · 4.0–8.0万2 小时前发布
端到端模型量化&压缩工程师
地平线 · 北京市
AI 估算 · 2.5–4.5万3 小时前发布
R&D Pioneer 计划科研实习生(J107367)
百度 · 北京市
AI 估算 · 0.3–0.6千4 小时前发布
2027届-博士-Al后训练研究员-北京/上海
康龙化成 · 北京市
AI 估算 · 3.0–6.0万6 小时前发布
Advisory Engineer, On-Device AI Systems & Inference Optimization
联想 · 北京市
AI 估算 · 4.0–7.0万11 小时前发布
Advisory Researcher, On-Device Model & Agent Efficiency
联想 · 北京市
AI 估算 · 6.0–10.0万11 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 1.8–3.0万12 小时前发布
数据技术及产品部-大模型评测算法工程师-杭州/北京
阿里巴巴 · 杭州市
AI 估算 · 3.0–6.0万12 小时前发布
Watch Jobs