商汤
推理优化工程师，高性能C++
推理优化工程师，高性能C++
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Gpu优化
Sglang
Vllm
性能分析
推理引擎
量化
高性能计算
值不值得投
73综合评分
综合评分 73
前沿技术挑战、成长空间大，但WLB可能一般，薪酬有竞争力。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.8万
比高性能计算中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
76 个在招
市场机会
选择适中
上海 · 高性能计算 · 12 个在招
职位详情
关于这个职位
负责构建面向前沿大模型的高性能AI推理引擎，优化GPU与国产芯片的推理性能
核心工作包括投机解码、分布式KV Cache、算子开发、低精度推理等方向，通过C++系统级开发提升吞吐、降低延迟，支持大规模部署场景
最低要求
计算机科学、电子工程、人工智能等相关专业，硕士及以上学历
具有2年以上AI Infra、推理优化或高性能计算相关工作经验
熟练使用C++进行系统级开发，掌握Python
具备扎实的计算机体系结构、操作系统、并发编程和内存管理基础，能够定位性能与稳定性问题
熟悉Transformer的主要计算过程，理解Prefill/Decode的计算与访存特征，以及Attention、KV Cache、MoE、量化等机制对推理性能的影响
深入使用并阅读或修改过vLLM、SGLang、TensorRT-LLM、MindIE等至少一种推理框架，能够说明关键模块的实现、性能瓶颈与设计取舍
在投机解码、分布式KV Cache/存储、分布式推理与调度、GPU算子与通信、低精度推理、推理运行时等至少一个方向有深入研发经验，能够独立完成问题分析、方案设计、实现与验证，不要求覆盖所有方向
有GPU性能分析或调优经验，能够结合Profiler、日志与对照实验区分计算、访存、通信、CPU调度及排队瓶颈，并以可复现的数据说明优化收益和适用边界
具备工程交付与跨团队协作能力，重视正确性、可观测性和性能回归，能够推动优化方案从实验走向稳定运行
工作职责
负责以下一个或多个核心方向的方案设计、关键模块开发和生产落地：
投机解码与算法–系统协同优化：设计与实现MTP、EAGLE等投机解码方案，优化草稿生成、并行验证、KV Cache管理与执行调度
结合模型结构、请求长度和并发负载，分析接受率、额外计算开销与端到端加速收益，推动方案在真实业务中稳定落地
分布式KV Cache与多级存储：设计GPU显存、主机内存及SSD上的多级KV Cache系统，优化前缀复用、缓存索引、淘汰、预取和跨节点共享
结合RDMA、异步I/O与计算传输重叠，解决长上下文、多轮对话及Agent场景中的容量、带宽和尾延迟问题
分布式推理架构与请求调度：设计与优化Prefill/Decode分离、TP/PP/EP/DP并行及多副本服务架构，建设缓存感知路由、Continuous Batching、负载均衡和过载控制机制
围绕延迟目标协调吞吐、排队与资源利用率，解决MoE专家负载不均和跨节点通信瓶颈
高性能算子与通信优化：开发与优化Attention、MoE、GEMM等核心算子，开展CUDA/Triton/AscendC或国产芯片算子开发，优化算子融合、访存、低精度计算及计算通信重叠
通过性能剖析定位并消除关键路径瓶颈
低精度推理与量化落地：推进FP8、INT8、INT4等权重、激活或KV Cache低精度方案，协同优化量化策略、数据布局与计算内核
建立精度和性能验证，评估不同模型、硬件和负载下的收益，控制精度损失与转换开销
推理运行时与执行调度：建设高性能C++运行时，优化CPU调度、内存管理、异步执行、CUDA Graph与动态形状处理
减少算子启动、同步和Host侧开销，解决小批量低延迟与高并发场景下的执行效率问题
先进GPU与异构平台优化：深入优化vLLM、SGLang、TensorRT-LLM、MindIE等框架，面向NVIDIA先进GPU与国产GPU/NPU（沐曦、昇腾等）开展架构级性能优化
围绕硬件的低精度计算能力、显存带宽和高速互联特性，协同设计算子、并行策略与执行流程
建设可复现的Benchmark与性能回归体系，以真实业务负载验证正确性、稳定性、延迟、吞吐和成本
优先资格
有MTP、EAGLE等投机解码的框架实现或生产优化经验，解决过动态批处理、验证开销、KV管理或执行图配合中的实际问题
有多级KV Cache、分布式缓存或高性能存储研发经验，熟悉RDMA、libibverbs、GPUDirect RDMA、异步I/O等技术，并对缓存一致性、故障恢复或尾延迟有实践经验
有大规模LLM Serving生产调优经验，处理过PD分离、缓存感知路由、混合长短请求、热点副本或过载问题，能提供明确的业务负载和收益数据
有CUDA/Triton/AscendC算子开发经验，熟悉Tensor Core、tiling、warp-level primitive、异步copy
或熟悉NCCL/HCCL、集合通信与MoE All-to-All优化
有FP8/INT8/INT4量化、低精度Kernel、CUDA Graph、编译优化或高性能C++推理运行时开发经验
有NVIDIA先进GPU性能优化经验，熟悉Tensor Core、NVLink/NVSwitch等计算与互联特性的应用
或有国产GPU/NPU适配和优化经验，能够从硬件特性出发调整算子、并行策略与执行流程
向vLLM、SGLang、PyTorch、FlashAttention、Mooncake、CUTLASS、Triton等项目提交过有实质内容的贡献，或有体现技术深度的论文、技术文章与性能工具
AI 洞察
优缺点分析
优点
- 公司提供参与开源项目的机会，有助于积累技术影响力和职业资本
- 岗位薪酬有竞争力，成长空间大，适合追求技术深度的工程师
- 技术门槛高，需要持续跟踪算法和硬件快速发展，学习曲线陡峭
- 适合对底层系统优化有浓厚兴趣，具备扎实计算机基础和GPU开发经验，喜欢解决高难度性能问题的工程师
缺点 / 挑战
- 直接参与前沿大模型推理优化，接触NVIDIA和国产芯片等先进硬件，技术挑战性强
- 跨团队协作涉及算法、芯片等多个领域，沟通和协调要求较高
- 高性能优化常伴随复杂调试和压力，可能影响工作生活平衡
角色解读
- 可以成长为推理系统架构师或高性能计算专家，专注于底层优化和硬件协同设计
- 向AI Infra技术负责人或管理岗位发展，带领团队解决更大规模部署问题
- 通过开源贡献和技术文章建立行业影响力，转向研究或创业方向
- 设计和优化AI推理引擎的核心模块，如投机解码、分布式KV Cache和算子，提升大模型在GPU和国产芯片上的推理性能
- 参与从Kernel到分布式调度的完整技术链路开发，解决真实业务中的延迟、吞吐和成本问题
- 与算法、芯片团队协作，推动优化方案在生产环境稳定落地，并贡献开源项目
- 精通C++系统级开发，熟悉操作系统、并发编程和内存管理，能够定位性能瓶颈
- 深入理解Transformer推理流程、GPU架构和CUDA编程，有性能剖析和优化经验
- 熟悉至少一种主流推理框架（如vLLM、SGLang），并具备跨团队协作和工程交付能力
申请策略
- 在申请前，研究商汤的AI Infra团队动态和开源项目，了解其技术方向
- 准备针对推理优化领域的技术问题，展示对投机解码、KV Cache等核心概念的深入理解
- 突出C++系统开发项目，特别是涉及性能优化、并发编程或内存管理的案例
- 列举GPU编程（CUDA/Triton）经验，展示性能提升的具体数据（如延迟降低、吞吐提升）
- 提及对vLLM、SGLang等框架的贡献或深度使用经验，或相关论文、技术文章
- 强调跨团队协作和工程交付能力，例如推动优化方案上线的项目经历
- 深入学习CUDA编程和GPU架构，通过实战项目提升算子开发和性能调优能力
- 研究主流推理框架源码（如vLLM、SGLang），理解其设计取舍和瓶颈
面试指南
- 使用STAR法则（情境、任务、行动、结果）结构化回答，强调问题分析、方案设计和量化成果
- 结合具体技术细节，如CUDA Kernel优化、KV Cache淘汰策略，展示深度理解
- 讨论权衡（trade-offs），例如在延迟和吞吐之间的平衡，体现工程思维
- 请解释投机解码的原理，并说明如何评估其在不同负载下的加速收益
- 如何设计一个分布式KV Cache系统来处理长上下文场景？
- 在优化推理性能时，如何区分计算、访存和通信瓶颈？
- 描述你使用vLLM或类似框架解决性能问题的经验
- 如何平衡推理延迟、吞吐和资源利用率？
职位点评
薪资福利70
成长发展85
工作生活60
使命价值75
薪资福利
70中等
职位薪酬未明确披露，但公司为上市公司，通常提供有竞争力的薪酬福利，具体需面试确认。
薪资信号未披露（AI估算：2.5千–5万/月）
福利待遇有竞争力的薪酬
成长发展
85较高
涉及前沿AI推理优化技术，技术栈先进，提供参与开源和硬件协同设计的机会，成长空间大。
技术前沿前沿/新兴技术
技术栈C++、CUDA、vLLM、SGLang、量化、GPU优化
成长机会成长空间、参与前沿大模型推理优化、接触完整技术链路、参与架构决策与开源贡献
业务类型ambiguous
工作生活
60中等
工作地点为上海、杭州、北京一线城市，但JD未提及办公模式和WLB信息，生活节奏可能较快。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
AI推理优化是高速增长赛道，技术前沿性强，但岗位偏重技术实现，社会影响力一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs