中科曙光
大模型推理架构师(J14480)
大模型推理架构师(J14480)
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公架构师
架构师
Cuda
Gpu架构
Sglang
Tensorrt-Llm
Vllm
分布式通信
大模型推理
性能优化
值不值得投
79综合评分
综合评分 79
国产算力核心赛道、前沿大模型底层优化、技术成长空间极大、薪资处于行业高位。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
8万
比架构师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 630 个在招 · 其中架构师 18 个
市场机会
选择面较广
北京 · 架构师 · 99 个在招
职位详情
关于这个职位
该职位负责大模型推理关键组件的研发、适配与性能优化，面向自研GPU/AI芯片解决计算、通信与内存瓶颈
你需要建立端到端性能模型与算子分析方法，并参与开源社区与前沿技术落地，支撑客户场景的技术方案设计
最低要求
计算机、电子、通信、数学等相关专业本科及以上学历，具备扎实的计算机体系结构、操作系统、数据结构与算法基础
熟练掌握 C/C++ 和 Python，具备良好的工程实现、代码阅读、问题定位和性能调试能力
熟悉 GPU/AI 加速器编程及其软硬件体系，了解 CUDA、HIP、ROCm、NCCL/RCCL、RDMA、NVLink/XGMI 等一种或多种技术
熟悉主流大模型推理框架及其核心机制，如 vLLM、SGLang、TensorRT-LLM 等，了解连续批处理、Paged Attention、Prefix Cache、PD 分离、张量并行、数据并行、流水线并行和专家并行
具备以下至少一个方向的深入经验：
推理组件方向：熟悉 LMCache、Mooncake、DeepEP、NIXL、Mori 等组件之一，理解 KV Cache 管理与传输、RDMA/GPU P2P、MoE Dispatch/Combine 等实现
端到端建模方向：能够基于模型配置、请求长度、并发度、并行策略和硬件规格建立吞吐、时延、显存和扩展性模型
算子建模方向：熟悉 Roofline、算术强度、带宽/计算上限分析，能够对 GEMM、Attention、MoE 和通信算子进行性能预估
熟悉常用性能分析与 Profiling 工具，如 Nsight Systems/Compute、rocprof、PyTorch Profiler、perf 等，具备系统级性能瓶颈定位经验
具备较强的数据分析、抽象建模、文档表达和跨团队协作能力，能够将分析结论转化为可执行的优化方案
工作职责
负责大模型推理关键组件的研发、适配与性能优化，包括但不限于 LMCache、Mooncake、Mori等通信库，以及 KV Cache 传输、分层缓存、PD 分离、专家并行通信等相关模块
面向自研 GPU/AI 芯片，完成推理组件在单机多卡、跨节点及超节点环境下的功能适配、稳定性建设和性能调优，解决计算、通信、内存与调度瓶颈
建立大模型端到端性能模型，结合模型结构、并行策略、硬件规格和业务负载，对 TTFT、TPOT、吞吐、并发能力、显存占用及扩展效率进行预估
建立算子性能预估与分析方法，覆盖 GEMM、Attention、MoE、通信及数据搬运等核心算子，分析计算量、访存量、通信量和硬件利用率
参与推理系统性能分析工具、自动化 Benchmark 和性能数据库建设，形成可复用的性能评估、瓶颈定位和优化闭环
跟踪并参与相关开源社区和前沿技术演进，推动优秀方案在自研芯片平台落地，并支撑客户场景的性能评估与技术方案设计
优先资格
加分项：
有大模型推理组件、分布式通信库或推理框架开源贡献经验
有多机多卡、超大模型、MoE 模型或 PD 分离系统的开发和优化经验
有 GPU 微架构、算子库、编译器、性能模拟器或芯片性能评估经验
有客户侧容量规划、TCO 分析或端到端性能预测项目经验
AI 洞察
优缺点分析
优点
- 处于大模型与国产AI芯片交汇的核心赛道，技术壁垒高，个人技术价值与行业影响力提升空间巨大
- 能够接触到自研GPU/AI芯片的底层软硬件协同优化，积累稀缺的系统级性能调优经验
- 平台资源丰富，能支撑超大规模集群和前沿技术的落地验证
- 大模型推理优化涉及底层硬件、通信协议与上层框架，技术栈极深，跨领域学习与问题定位难度极大
- 自研芯片的生态和工具链可能仍在完善中，需要承担较多的底层适配与基础建设工作
- 适合对底层系统、GPU架构及大模型推理机制有浓厚兴趣，具备极强钻研精神和系统级性能优化经验的资深技术人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 纵向可晋升为首席架构师或技术专家，主导下一代AI芯片及推理系统的底层架构设计
- 横向可拓展至AI系统全栈优化、大模型商业化落地及客户级解决方案架构师
- 负责大模型推理核心组件（如LMCache、KV Cache传输等）的研发与性能优化，解决计算、通信和内存瓶颈
- 面向自研GPU/AI芯片，进行单机多卡及跨节点环境下的功能适配与性能调优
- 建立端到端性能模型与算子分析方法，评估吞吐、时延、显存等指标，并参与开源社区与前沿技术落地
- 精通C/C++和Python，具备扎实的计算机体系结构、操作系统及算法基础
- 熟悉GPU/AI加速器编程（CUDA/HIP等）及分布式通信库（NCCL/RDMA等）
- 深入理解主流大模型推理框架（vLLM/SGLang等）及并行策略（张量/数据/流水线/专家并行）
申请策略
- 了解自研AI芯片的架构特点及生态现状，在面试中展现对国产算力生态的思考与适配经验
- 重点突出在vLLM、SGLang等推理框架或NCCL等通信库的源码级修改与性能优化经验
- 量化展示过往项目中的性能提升指标（如吞吐提升百分比、显存占用降低比例、TTFT/TPOT优化效果）
- 强调在GPU微架构、算子优化或分布式通信（RDMA/P2P）方面的深度实践与开源贡献
- 深入研读Roofline模型及主流大模型推理框架的底层源码，掌握Paged Attention、PD分离等核心机制的实现细节
- 熟悉Nsight Systems/Compute等Profiling工具，提升系统级瓶颈定位与算子级性能分析能力
面试指南
- STAR法则结合量化数据：情境（业务背景）-> 任务（性能目标）-> 行动（具体优化手段，如算子融合、通信重叠）-> 结果（量化指标提升）
- 软硬协同分析框架：从算法层（模型结构/并行策略）-> 框架层（调度/显存管理）-> 硬件层（计算单元/内存带宽/互联拓扑）逐层剖析瓶颈
- 请详细描述你如何优化大模型推理中的KV Cache管理与传输，遇到过哪些内存或通信瓶颈？
- 在单机多卡或跨节点环境下，你是如何解决张量并行或专家并行中的通信延迟问题的？
- 请结合Roofline模型，分析GEMM或Attention算子的性能瓶颈，并说明你的优化思路
- 针对自研GPU/AI芯片，你认为在适配主流推理框架时最大的挑战是什么？如何克服？
- 复习并深入理解vLLM/SGLang的源码实现，特别是Paged Attention、Continuous Batching和PD分离机制
- 准备1-2个自己主导的底层性能优化案例，能够清晰画出系统架构图并解释关键数据流向与瓶颈点
职位点评
薪资福利85
成长发展90
工作生活50
使命价值85
薪资福利
85较高
大模型推理架构师属于当前市场极度稀缺的高端技术岗，薪资水平处于行业高位，且整体薪酬福利具备较强竞争力。
薪资信号偏高 (6千–10万/月)
成长发展
90较高
岗位处于大模型与国产AI芯片结合的最前沿，技术壁垒极高，能够积累深厚的底层软硬件协同优化经验，个人技术成长与行业影响力空间巨大。
技术前沿前沿/新兴技术
技术栈C/C++、Python、CUDA、HIP、ROCm、NCCL、RDMA、vLLM、SGLang、TensorRT-LLM、LMCache
成长机会跟踪并参与相关开源社区和前沿技术演进
业务类型profit_center
工作生活
50较低
JD未明确提及工作模式与加班情况，但作为底层架构与性能优化岗，通常面临较高的技术挑战与项目交付压力，WLB情况无法明确判断。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与国产自研AI芯片的大模型推理生态建设，推动国产算力在前沿大模型场景的落地，具有极强的技术使命感与国产替代的社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号面向自研 GPU/AI 芯片、推动优秀方案在自研芯片平台落地
创新程度开拓性创新（行业首创）
中科曙光 的其他在招职位
相似职位推荐
Watch Jobs