
中科曙光
SGLang 推理框架架构师(郑州)(J14530)
SGLang 推理框架架构师(郑州)(J14530)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Cuda/Rocm
Maas
Moe
Sglang
Vllm
分布式推理
性能优化
海光Dcu
系统架构
值不值得投
77综合评分
综合评分 77
高薪稳定大厂、前沿国产算力技术栈、高成长路径、WLB一般
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
5.5万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 610 个在招
市场机会
选择不多
郑州 · AI算法 · 1 个在招
职位详情
关于这个职位
负责SGLang推理框架在海光DCU上的深度适配与性能优化,主导从底层算子到上层MaaS服务化的全链路技术落地
需精通分布式推理、模型量化及国产硬件加速编程,通过架构决策提升大规模训推的吞吐、延迟与成本竞争力,并带领团队建立工程标准
最低要求
年以上高性能计算/推理框架经验,有从0到1主导框架落地或大规模推理服务化经验
精通Python,扎实的CUDA/ROCm/HIP或国产加速卡(DCU)编程能力
必须清楚MoE(混合专家)与MLA(多头潜在注意力)模型推理原理:专家路由/负载均衡、KV Cache压缩、计算-访存特征
熟练掌握SGLang、vLLM、Dynamo推理框架,具备源码级理解能力
熟悉分布式推理:TP/PP/EP并行、NCCL/自研通信、AllReduce优化
能把单卡性能上升到服务SLO + 单位算力成本,用数据做架构决策
工作职责
路线规划:制定SGLang落地路线图,定义性能基线与对标目标,主导与模型、硬件团队的联合优化
框架适配:主导SGLang到海光DCU的适配(算子、通信、显存),保障正确性与精度
性能优化:吞吐、TTFT/TPOT、批调度、KV Cache、PagedAttention、Speculative Decoding等方向优化
分布式推理:设计TP/PP/EP并行与通信优化,覆盖Prefill/Decode分离、MoE、Long Context、量化路线
服务化:把框架能力抽象为MaaS产品能力,定义对客SLO与单位算力成本模型,设计调度、弹性、多副本、灰度、可观测
团队建设:培养框架团队,建立code review与工程质量标准
优先资格
海光DCU / 昇腾 / 寒武纪等国产化算力适配经验
贡献过SGLang / vLLM上游PR或知名开源项目
推理算力调度(K8s/Volcano结合)、弹性扩缩容经验
FP8 / INT4 / AWQ / GPTQ量化落地与精度保障经验
AI 洞察
优缺点分析
优点
- 处于国产算力替代的核心风口,技术壁垒高,职业护城河深
- 接触最前沿的大模型推理技术与硬件生态,技术成长空间巨大
- 上市公司背景,平台稳定,资源投入充足,有利于长期技术深耕
- 直接支撑MaaS核心业务,技术成果可见度高,业务价值显著
- 国产硬件生态仍在完善中,调试难度大,需具备极强的排错与适配能力
- 郑州相比北上广深,高端AI技术交流圈子相对较小,外部学习机会可能受限
- 适合拥有深厚系统编程功底、对国产硬件生态有信心、追求技术深度而非单纯管理职级的资深工程师
缺点 / 挑战
- 性能优化工作极其精细且枯燥,对底层原理要求极高,压力较大
- 需要同时兼顾底层框架与上层产品服务,角色跨度大,精力分散风险存在
角色解读
- 成为国产AI基础设施领域的顶级技术专家,主导国家级或行业级算力平台架构
- 向技术总监或首席架构师发展,负责更大规模的AI中台或云平台战略规划
- 在开源社区建立影响力,成为SGLang/vLLM等核心项目的Maintainer或Committer
- 负责SGLang等主流推理框架在海光DCU等国产芯片上的底层适配与源码级优化
- 设计分布式推理方案(如TP/PP并行、MoE支持),解决高并发下的吞吐与延迟问题
- 将框架能力转化为MaaS产品特性,定义SLO指标并优化单位算力成本
- 制定技术路线图,指导团队进行代码审查与工程质量建设
- 精通Python及GPU/DCU编程(CUDA/ROCm/HIP),具备深厚的系统级开发能力
- 深入理解大模型推理原理,特别是MoE、MLA、KV Cache管理及量化技术
- 熟练掌握SGLang、vLLM等框架源码,具备分布式通信(NCCL)优化经验
- 具备架构思维,能将技术指标转化为业务层面的成本与性能优势
申请策略
- 面试前准备1-2个复杂的性能调优案例,使用STAR法则清晰阐述问题、分析与结果
- 了解中科曙光在郑州的业务布局,表达对该地区算力中心建设的认同感
- 展现开源精神,如有GitHub贡献或技术博客,务必附上以增加印象分
- 突出从0到1搭建或优化推理框架的项目经历,强调性能提升的具体数据(如吞吐量提升X%)
- 详细列出对SGLang/vLLM源码的贡献或深度定制经验,展示代码级掌控力
- 重点描述在国产芯片(海光/昇腾)上的适配难点及解决方案,体现跨界适应能力
- 展示对MoE、量化等前沿技术的理论理解与实际落地案例
- 深入研究海光DCU的指令集与编程模型,弥补与NVIDIA CUDA生态的差异认知
面试指南
- 技术深度追问:采用“原理-实践-数据”结构,先讲清楚算法/架构原理,再结合具体项目场景,最后用量化数据证明效果
- 问题解决思路:强调系统性思维,从监控定位、假设验证、实验对比到最终落地的完整闭环
- 架构权衡分析:在回答系统设计问题时,明确指出Trade-off(如延迟vs吞吐、一致性vs可用性),展示决策依据
- 请详细描述你在使用SGLang或vLLM时遇到的最大性能瓶颈,以及如何解决的?
- 在MoE模型推理中,如何平衡专家路由的负载均衡与通信开销?
- 对比CUDA与ROCm/HIP,在进行底层算子移植时主要面临哪些挑战?
- 如何设计一个支持弹性扩缩容的推理服务架构,以应对突发流量?
- 请解释PagedAttention的原理,以及它在提高显存利用率中的作用
职位点评
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
作为高级架构师岗位,且处于稀缺的国产算力领域,薪资极具竞争力;上市公司背景提供稳定的福利保障。
薪资信号偏高 (4.0千–7.0万/月)
成长发展
95较高
岗位涉及最前沿的AI推理框架与国产硬件适配,技术栈极具前瞻性,个人成长与技术壁垒构建空间极大。
技术前沿前沿/新兴技术
技术栈SGLang、vLLM、海光DCU、MoE、MLA、CUDA/ROCm、MaaS
业务类型profit_center
工作生活
40较低
高强度技术攻关与性能优化工作通常伴随较大压力;地点在郑州,虽非一线城市但核心研发岗工作节奏依然较快。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
80较高
投身国产算力自主可控战略,推动AI基础设施国产化,具有显著的行业使命感与社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
中科曙光 的其他在招职位
相似职位推荐
大模型平台算力运管与调度系统工程师/专家
小红书 · 北京市
AI 估算 · 4.0–8.0万2 小时前发布
端到端模型量化&压缩工程师
地平线 · 北京市
AI 估算 · 2.5–4.5万3 小时前发布
R&D Pioneer 计划科研实习生(J107367)
百度 · 北京市
AI 估算 · 0.3–0.6千4 小时前发布
2027届-博士-Al后训练研究员-北京/上海
康龙化成 · 北京市
AI 估算 · 3.0–6.0万6 小时前发布
Advisory Engineer, On-Device AI Systems & Inference Optimization
联想 · 北京市
AI 估算 · 4.0–7.0万11 小时前发布
Advisory Researcher, On-Device Model & Agent Efficiency
联想 · 北京市
AI 估算 · 6.0–10.0万11 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 1.8–3.0万12 小时前发布
数据技术及产品部-大模型评测算法工程师-杭州/北京
阿里巴巴 · 杭州市
AI 估算 · 3.0–6.0万12 小时前发布
Watch Jobs