科大讯飞
词元星火-大模型推理引擎研发工程师-北京(J13589)
词元星火-大模型推理引擎研发工程师-北京(J13589)
发布于 大约 14 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
本科
算法优化工程师
Cuda
Flashattention
Sglang
Tensorrt-Llm
Vllm
分布式推理
大模型推理
模型量化
高性能计算
AI 估算 · 40k–70k
职位详情
关于这个职位
该职位负责大模型推理引擎的研发与优化，涉及计算图编译、算子融合、分布式推理等核心技术，并适配国产AI加速卡
适合具有高性能计算和大模型推理经验的技术专家，能够解决超大模型推理的性能与稳定性问题
最低要求
本科及以上学历，计算机、人工智能等相关专业，3年以上大模型推理系统、高性能计算研发经验，具备千亿级模型部署落地经验者优先
精通主流大模型推理框架与优化方案，熟练掌握量化压缩、算子优化、计算图编译、显存精细化管理等核心技术
深刻理解Transformer推理机制，熟练运用FlashAttention、PagedAttention等主流加速技术，具备超大模型推理性能调优实战经验
熟悉GPU/NPU异构硬件架构，掌握CUDA开发，有昇腾CANN、海光DCU、国产NPU算子开发与平台适配经验者优先
具备高性能代码开发能力，熟悉分布式推理通信与调度机制，能独立排查并解决线上推理性能与稳定性问题
工作职责
负责大模型推理框架设计与研发，主导计算图编译、算子融合、动态批处理、推理调度等核心模块优化，持续提升框架通用性与推理性能
深耕Transformer模型推理优化，落地Attention加速、模型量化、KV Cache优化、显存复用等技术，解决超大模型显存溢出、推理延迟高、吞吐低等工程痛点
负责多机多卡分布式推理系统研发，优化张量并行、序列并行及跨设备通信调度，支撑万亿级参数模型分布式高效推理
完成推理引擎及自定义高性能算子在昇腾、海光等国产AI加速卡的适配、迁移与性能调优，搭建国产化高性能推理体系
跟进业界前沿推理技术与开源框架（vLLM/SGLang/TensorRTLLM），完成技术选型、方案落地与技术沉淀，赋能业务高效迭代
优先资格
有万亿级大模型推理引擎研发、框架重构及大规模线上落地经验
长期深耕国产AI硬件平台，具备完整的国产化推理优化落地项目经验
有推理框架、高性能算子开源贡献或相关技术成果沉淀者优先
AI 洞察
优缺点分析
优点
- 公司平台大，资源充足，有丰富的实战机会
- 薪酬竞争力强，有完善的激励体系
- 技术难度高，需要持续学习最新技术
- 工作强度可能较大，需要应对紧急问题
- 国产硬件生态尚不成熟，适配工作可能繁琐
- 适合对技术有热情、具备扎实底层功底、愿意深耕大模型推理领域的工程师
缺点 / 挑战
- 处于AI前沿领域，技术挑战大，个人成长迅速
角色解读
- 技术专家路线：成为大模型推理领域的权威，主导核心技术研发
- 架构师路线：负责整体推理系统架构设计，引领技术方向
- 管理路线：晋升为技术团队负责人，管理研发团队
- 设计和优化大模型推理框架，包括计算图编译、算子融合和调度，提升推理性能
- 针对Transformer模型进行深度优化，如Attention加速、量化、KV Cache优化，解决显存和延迟问题
- 开发多机多卡分布式推理系统，支持万亿级参数模型的高效推理
- 适配国产AI加速卡（昇腾、海光），进行算子开发和性能调优
- 精通C++/CUDA编程，具备高性能计算优化经验
- 熟悉主流推理框架如vLLM、TensorRT-LLM，了解其内部机制
- 深入理解Transformer架构和推理优化技术，如FlashAttention、PagedAttention
- 具备分布式系统知识，熟悉通信调度和并行策略
申请策略
- 了解科大讯飞在AI领域的业务布局，特别是大模型方向
- 准备展示个人技术博客或开源贡献，体现技术热情
- 突出大模型推理优化项目经验，量化性能提升成果
- 强调CUDA编程和算子优化能力，展示高性能代码实现
- 提及分布式系统开发经验，特别是多机多卡场景
- 如有国产硬件适配经验，务必突出
- 熟悉vLLM、SGLang等开源框架源码
- 学习昇腾CANN或海光DCU开发文档
面试指南
- 回答时采用STAR法则，突出技术难点和解决方案，量化成果
- 如何优化Transformer推理性能？请举例说明
- 介绍你参与过的大模型推理项目，遇到哪些挑战？
- 解释PagedAttention的工作原理及其优势
- 如何进行多机多卡分布式推理的通信优化？
- 谈谈你对国产AI芯片生态的看法
- 复习大模型推理相关技术，如量化、蒸馏、并行策略
- 准备项目案例，展示技术深度和解决问题的能力
职位点评
75
综合评分
前沿技术岗，薪资高，成长快，但工作强度可能较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、愿意接受挑战的求职者，对工作生活平衡要求不高。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活50
使命价值70
薪资福利
80较高
薪资水平较高，公司为上市公司，福利完善，但JD未明确具体薪资和福利细节。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
90较高
岗位技术前沿，涉及大模型推理优化，成长空间大，公司提供完善成长体系。
技术前沿前沿/新兴技术
技术栈大模型推理、CUDA、vLLM、FlashAttention、分布式推理
成长机会完善的成长与薪酬激励体系
业务类型profit_center
工作生活
50较低
工作地点在北京，但未提及弹性工作或远程，可能加班较多。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
大模型技术推动AI发展，具有较高社会价值，但JD未明确使命导向。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs