中科曙光
大模型推理优化工程师(J14479)
大模型推理优化工程师(J14479)
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Ascend
Cuda
Fastertransformer
Opencl
Pd分离
Sglang
Tensorrt-Llm
Vllm
分布式通信
值不值得投
77综合评分
综合评分 77
国产算力国家队的大模型底层优化岗，技术前沿且壁垒高，适合追求技术深度的硬核开发者。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4.5万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 630 个在招 · 其中算法优化工程师 34 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 300 个在招
职位详情
关于这个职位
该职位主要负责语言大模型及多模态模型的推理引擎研发与优化，并支持新一代自研AI芯片的推理引擎底层开发
通过模型量化、算子优化、通信优化等手段提升大模型推理性能，构建PD分离推理调度系统，打造极致性能优势
最低要求
熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力
熟悉GPU/AI芯片编程，如CUDA, OpenCL, Ascend等
熟悉主流大模型推理框架，如vLLM, sglang, tensorrt-llm, FasterTransformer等
熟悉各类深度学习网络和算子底层实现细节
熟悉并行策略，如模型并行、流水线并行等
具备GPU、AI芯片体系结构知识，熟悉芯片特性
工作职责
研发及优化语言大模型及多模态等推理引擎、PD分离推理调度系统
支持新一代自研AI芯片推理引擎开发优化，手段包括但不限于模型量化、算子优化、通信优化等方式，优化大模型推理性能，打造极致性能优势
优先资格
熟悉cutlass等加速库
具备训练和推理模型调试、调优的实操经验
了解NVLINK、GPU通信
具备系统性能分析和调优经验
参与vllm、sglang等开源项目贡献
熟悉推理服务框架，具备服务部署经验，有超大模型分布式部署经验
熟悉deepep、RCCL等分布式通信库
AI 洞察
优缺点分析
优点
- 处于AI大模型爆发的核心赛道，技术壁垒极高，个人技术价值稀缺且具备长期竞争力
- 能接触到自研AI芯片及最前沿的推理框架，技术视野广阔，积累深厚的AI基础设施经验
- 中科曙光作为算力国家队，平台算力资源充足，能支撑超大模型的分布式部署与调优
- 大模型底层优化技术迭代极快，需要持续跟进最新的开源框架、芯片架构与通信协议
- 涉及芯片体系结构与分布式通信，技术栈深且广，学习曲线陡峭，对底层系统理解要求极高
- 适合对底层系统、AI芯片架构有浓厚兴趣，具备扎实C++/CUDA功底，且希望在AI基础设施领域深耕的硬核技术人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 向大模型系统架构师、AI芯片软件栈专家方向发展，成为底层系统优化的技术权威
- 转型为AI基础设施技术负责人，主导大规模推理集群的架构设计与算力效能优化
- 负责大语言模型及多模态模型的推理引擎研发与性能调优，构建高效的PD分离推理调度系统
- 针对新一代自研AI芯片进行推理引擎的底层开发，包括模型量化、算子融合与通信优化
- 解决大模型分布式推理中的通信瓶颈与内存墙问题，打造极致的推理性能优势
- 精通C/C++和Python，具备扎实的底层编程、内存管理与系统调试能力
- 熟悉GPU/AI芯片编程（如CUDA、Ascend）及主流大模型推理框架（如vLLM、TensorRT-LLM）
- 掌握深度学习算子底层实现及分布式并行策略（模型并行、流水线并行），了解NVLINK等硬件通信机制
申请策略
- 了解中科曙光在AI算力及自研芯片方面的战略布局，面试时可结合其硬件特性探讨软件栈优化的思路
- 突出在CUDA编程、算子优化或大模型推理框架（如vLLM、sglang）上的实际项目经验与量化收益
- 若有开源社区贡献（如PR被合并）或超大模型分布式部署经验，务必放在显眼位置
- 强调系统性能分析与调优的具体成果，如推理延迟降低百分比、吞吐量提升数据等
- 深入学习最新的分布式通信库（如RCCL、deepep）及PD分离架构的底层实现原理
- 熟悉国产自研AI芯片（如Ascend）的编程模型、算子开发流程与生态工具链
面试指南
- 采用STAR法则，重点突出“问题背景-技术难点-优化手段（如算子融合、内存复用、通信重叠）-量化收益”
- 对于架构类问题，先阐述理论原理与硬件限制，再结合实际项目说明落地细节与权衡取舍
- 请详细描述你在vLLM或TensorRT-LLM等推理框架中做过的算子优化或性能调优案例
- 在模型并行和流水线并行中，如何解决通信瓶颈？对NVLINK或GPU通信有哪些优化经验？
- 针对大模型推理的PD（Prefill-Decode）分离架构，你是如何理解和实现的？
- 在自研AI芯片（如Ascend）上进行算子开发时，遇到过哪些与NVIDIA GPU不同的挑战？
- 复习CUDA编程模型、GPU内存层级及主流大模型推理加速技术（如PagedAttention、FlashAttention）
- 了解中科曙光自研芯片的架构特点及软件生态，准备相关的底层优化案例
职位点评
薪资福利80
成长发展90
工作生活50
使命价值85
薪资福利
80较高
大模型底层优化属于高溢价技术岗，结合一线城市市场行情，薪资具备较强竞争力，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：3千–6万/月）
成长发展
90较高
岗位涉及最前沿的大模型推理引擎与自研AI芯片底层开发，技术壁垒极高，能积累深厚的AI基础设施经验。
技术前沿前沿/新兴技术
技术栈C/C++、Python、CUDA、OpenCL、Ascend、vLLM、sglang、tensorrt-llm、FasterTransformer、模型量化、算子优化
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与加班情况，但底层研发与性能调优通常面临较大的交付压力，WLB情况无法明确判断。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
参与国产自研AI芯片的推理引擎优化，助力国产算力生态建设，具有较高的行业使命感与技术价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs