中科曙光
【2027】大模型推理优化工程师-郑州(J14458)
【2027】大模型推理优化工程师-郑州(J14458)
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公嵌入式开发
嵌入式开发
Ai芯片
Cuda
Vllm
大模型推理
并行计算
性能优化
算子优化
值不值得投
79综合评分
综合评分 79
二线城市的技术深度岗，薪资有竞争力，技术前沿，但工作强度可能较高。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
2.4万
比嵌入式开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 470 个在招 · 其中嵌入式开发 18 个
市场机会
选择不多
郑州 · 嵌入式开发 · 2 个在招
职位详情
关于这个职位
作为大模型推理优化工程师，你将致力于研发和优化面向语言大模型及多模态模型的推理引擎与调度系统
你的核心工作是为自研AI芯片打造高性能推理引擎，通过模型量化、算子优化、通信优化等技术手段，显著提升大模型推理性能，构建极致的竞争优势
最低要求
熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力
熟悉GPU/AI芯片编程，如CUDA, OpenCL, Ascend 等，熟悉cutlass等加速库是加分项
熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm，FasterTransformer等
熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验优先
熟悉并行策略，如模型并行、流水线并行等，了解 NVLINK、GPU通信者优先
具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先
工作职责
研发及优化语言大模型及多模态等推理引擎、PD分离推理调度系统
支持新一代自研AI芯片推理引擎开发优化，手段包括但不限于模型量化、算子优化、通信优化等方式，优化大模型推理性能，打造极致性能优势
优先资格
加分项:
参与vllm、sglang等开源项目贡献者
熟悉推理服务框架，具备服务部署经验者优先，有超大模型分布式部署经验优先
熟悉deepep、RCCL等分布式通信库
AI 洞察
优缺点分析
优点
- 深入大模型与AI芯片结合的最前沿技术领域，技术积累价值高
- 参与自研芯片推理引擎开发，有机会从底层构建性能优势，成就感强
- 所在公司为国内高性能计算领域的重要企业，技术底蕴深厚，平台较好
- 工作地点在郑州，生活成本相对一线城市较低，有助于平衡工作与生活
缺点 / 挑战
- 技术挑战极大，需要同时掌握上层算法框架和底层硬件特性，知识面要求广
- 需要持续跟进大模型、推理框架和芯片技术的快速迭代，学习压力较大
- 作为核心优化岗位，对最终性能指标负责，工作压力和难度不容小觑
- 适合对AI系统底层性能优化有强烈兴趣，具备扎实的编程功底和硬件知识，喜欢解决极致性能挑战的技术爱好者
角色解读
- 技术专家路线：深耕AI编译器、推理框架或芯片体系结构领域，成为该领域的资深专家或架构师
- 技术管理路线：在积累足够技术影响力后，可带领小团队负责特定模块或方向的研发
- 行业影响路线：通过参与开源项目（如vLLM）或发表技术论文，建立个人在AI系统领域的行业影响力
- 负责大模型推理引擎的核心研发与性能优化，包括调度系统设计
- 针对自研AI芯片进行底层适配和算子优化，以提升模型推理速度和吞吐量
- 运用模型量化、通信优化等多种技术手段解决大模型部署的性能瓶颈
- 精通C/C++和Python编程，具备扎实的代码实现与调试能力
- 深入理解GPU/AI芯片架构及编程模型（CUDA/OpenCL等），有底层优化经验
- 熟悉vLLM、TensorRT-LLM等主流推理框架，并了解其内部原理
- 掌握模型并行、流水线并行等分布式计算策略，并有性能分析和调优实践
申请策略
- 在简历或面试中，多使用量化数据来展示你的优化成果，例如‘将某模型的推理吞吐量提升了X倍’
- 准备一个关于你如何定位并解决某个性能瓶颈的深度案例，这将比罗列技能更有说服力
- 突出C/C++和Python的项目经验，尤其是涉及性能敏感型系统的开发
- 详细描述在GPU/CUDA编程、算子优化或模型推理性能提升方面的具体实践与成果
- 列举使用或贡献过vLLM、TensorRT-LLM等主流推理框架的经验
- 如有参与开源项目或发表相关技术文章，应重点展示
- 系统性地学习或复习GPU体系结构与CUDA编程，可尝试完成NVIDIA官方的并行计算培训
- 深入研究vLLM或SGLang等开源项目的源码，理解其调度与执行机制
面试指南
- 对于技术深度问题，采用“问题背景-技术方案-实现细节-结果度量-复盘总结”的结构来回答
- 对于架构理解问题，结合具体技术点，从计算、内存、通信三个维度展开分析
- 对于开放设计问题，展现出系统化的思考方式，先明确目标（延迟/吞吐），再分层列举可优化的点
- 请描述你过去在模型推理性能优化方面的一个具体项目，遇到了什么挑战，你是如何解决的？
- 你对vLLM或TensorRT-LLM的架构有什么理解？它在高效推理方面做了哪些关键设计？
- 如果要对一个基于Transformer的大模型进行推理加速，你会从哪些层面考虑优化方案？
- 在多卡分布式推理场景下，如何优化通信开销以提升整体吞吐量？
- 你了解CUDA中的Warp、Block、Grid这些概念吗？它们对编写高性能Kernel有什么影响？
职位点评
薪资福利75
成长发展90
工作生活65
使命价值80
薪资福利
75中等
薪资估算处于郑州市同类技术岗位的市场水准中上水平，但JD未明确提及具体福利。
薪资信号市场水准 (1.8千–3万/月)
成长发展
90较高
岗位涉及大模型推理与自研AI芯片优化的前沿技术，技能成长路径清晰且价值高。
技术前沿前沿/新兴技术
技术栈大模型推理、C++、Python、CUDA、OpenCL、Ascend、vLLM、SGLang、TensorRT-LLM
业务类型ambiguous
工作生活
65中等
工作地点在二线城市郑州，生活成本较低；但岗位技术难度大、可能需要高强度钻研，WLB情况未知。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与推动国产AI芯片与大模型融合的核心技术突破，具有明确的产业价值和技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号打造极致性能优势
创新程度开拓性创新（行业首创）
中科曙光 的其他在招职位
相似职位推荐
Watch Jobs