中科曙光
大模型推理引擎研发工程师(J14478)
大模型推理引擎研发工程师(J14478)
发布于 6 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Ai芯片
Ascend
Cuda
Fastertransformer
Opencl
Sglang
Tensorrt-Llm
Vllm
分布式部署
值不值得投
77综合评分
综合评分 77
国产算力核心研发岗，技术栈前沿且壁垒极高，薪资竞争力强，适合追求技术深度的硬核极客。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.8万
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 630 个在招 · 其中算法优化工程师 34 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 300 个在招
职位详情
关于这个职位
该职位主要负责大语言模型及多模态模型的推理引擎研发与优化，并支持新一代自研AI芯片的推理引擎开发
你需要通过底层算子优化、并行策略设计及分布式部署，打造极致的大模型推理性能
最低要求
熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力
熟悉GPU/AI芯片编程，如CUDA、OpenCL、Ascend等，熟悉cutlass等加速库是加分项
熟悉主流大模型推理框架，如vLLM、sglang、TensorRT-LLM、FasterTransformer等
熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验优先
熟悉并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先
具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先
工作职责
研发及优化语言大模型及多模态等推理引擎、PD分离推理调度系统
支持新一代自研AI芯片推理引擎开发优化，优化大模型推理性能，打造极致性能优势
优先资格
参与vLLM、sglang等开源项目贡献者优先
熟悉推理服务框架，具备服务部署经验者优先，有超大模型分布式部署经验优先
熟悉DeepEP、RCCL等分布式通信库
AI 洞察
优缺点分析
优点
- 处于AI大模型与国产算力结合的最前沿，技术壁垒高，个人核心竞争力提升极快
- 依托国家级算力平台，能接触到真实的超大规模集群与自研芯片，工程实践价值巨大
- 大模型推理优化是当前行业最紧缺的岗位之一，未来职业选择面广，市场溢价高
- 自研芯片的生态和工具链可能仍在完善中，需要解决大量底层适配与Bug排查的脏活累活
- 适合对底层系统、硬件架构有浓厚兴趣，具备极强钻研精神，且希望在AI基础设施领域深耕的硬核技术人才
缺点 / 挑战
- 底层性能优化工作极具挑战性，需要深入理解硬件体系结构与编译器原理，学习曲线陡峭
角色解读
- 纵向可晋升为推理引擎技术专家或首席架构师，主导下一代AI芯片与推理系统的技术演进
- 横向可拓展至大模型训练框架研发、AI编译器开发或高性能计算（HPC）领域
- 负责大语言模型及多模态模型推理引擎的核心研发，包括PD分离推理调度系统的设计与实现
- 针对新一代自研AI芯片进行推理引擎的底层开发与性能调优，提升计算效率与资源利用率
- 研究并应用模型并行、流水线并行等分布式策略，解决超大模型在推理阶段的通信与计算瓶颈
- 精通C/C++与Python，具备扎实的底层编程与系统级调试能力
- 深入理解GPU/AI芯片架构，熟练掌握CUDA、OpenCL或Ascend等异构计算编程
- 熟悉vLLM、TensorRT-LLM等主流大模型推理框架，了解算子底层实现与分布式通信机制
申请策略
- 提前了解中科曙光自研AI芯片（如深算系列）的架构特点与软件栈，面试时能结合其硬件特性谈优化思路会大幅加分
- 重点突出在CUDA编程、算子优化或推理框架（如vLLM、TensorRT-LLM）上的实际项目经验与性能提升数据
- 展示对分布式系统、模型并行/流水线并行策略的理解，以及在超大模型部署中解决通信瓶颈的案例
- 若有开源社区（如vLLM、sglang）的贡献记录或PR合并，务必在简历中显著标明
- 深入学习CUDA高级编程与Triton，掌握现代GPU算子编写与性能调优技巧
- 研读主流推理框架源码，理解KV Cache管理、Continuous Batching等核心机制的底层实现
面试指南
- STAR法则结合数据：在回答优化经验时，明确背景（模型规模/硬件）、采取的具体技术手段（如算子融合/内存优化）、最终的性能提升数据（如延迟降低X%，吞吐提升Y倍）
- 底层原理+工程实践：回答架构或框架问题时，先阐述底层理论（如GPU内存层级、通信原语），再结合工程中的实际踩坑经验进行说明
- 请详细描述你在vLLM或TensorRT-LLM中做过的性能优化，具体提升了多少指标？遇到了什么瓶颈？
- 在模型并行和流水线并行中，如何解决跨节点通信带来的延迟问题？
- 针对自研AI芯片，你认为其推理引擎开发与NVIDIA GPU相比有哪些主要差异和挑战？
- 请解释Continuous Batching的原理，以及它是如何提升大模型推理吞吐量的？
- 复习CUDA编程模型、GPU内存架构以及NCCL/RCCL等分布式通信库的核心原理
- 阅读并理解vLLM的PagedAttention论文及源码实现，掌握大模型推理的核心调度机制
职位点评
薪资福利80
成长发展90
工作生活50
使命价值85
薪资福利
80较高
大模型推理优化属于当前AI领域的高薪核心岗位，技术壁垒高，薪资具备较强市场竞争力。
薪资信号未披露（AI估算：2.5千–5万/月）
成长发展
90较高
岗位涉及大模型推理引擎与自研AI芯片底层开发，技术栈极其前沿，能接触到行业最核心的基础设施技术。
技术前沿前沿/新兴技术
技术栈C/C++、Python、CUDA、OpenCL、Ascend、vLLM、sglang、TensorRT-LLM、FasterTransformer、模型并行、分布式通信
业务类型profit_center
工作生活
50较低
JD未提及工作模式与加班情况，底层研发与性能调优通常面临较大的交付压力，WLB情况无法判断。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与国产自研AI芯片的推理引擎开发，对推动国产算力生态建设具有较高的社会价值与使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号支持新一代自研AI芯片
创新程度开拓性创新（行业首创）
Watch Jobs