优刻得
大模型推理优化工程师
大模型推理优化工程师
发布于 3 天前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
学历未注明
研究与开发 (研发)
Cuda
Flashattention
Gpu编程
Nccl
Vllm
模型压缩
AI 估算 · 30k–60k
AI大模型领域岗位薪资较高，上海市场对资深推理优化工程师需求旺盛，中位数约45k/月。
职位详情
关于这个职位
该职位专注于大模型推理系统的性能优化，涉及LLM/VLM的部署、推理加速及稳定性保障
你将与团队一起探索前沿技术（如FlashAttention、模型压缩），并推动在新型GPU/NPU上的落地
适合对高性能计算和AI基础设施有热情的资深工程师
最低要求
精通Python，熟悉C++，具备高性能代码开发与算法实现能力
至少具备以下2个领域中的实践经验：
a. Transformers与Diffusers库，深入理解Attention变体（GQA、MLA、Linear Attn、Sparse Attn）及其优化技术（FlashAttention、PagedAttention）
b. GPU编程（CUDA/cutlass/Triton/TileLang开发）且掌握性能分析工具（Nsight、PyTorch Profiler等）
c. 模型压缩（量化、稀疏化、知识蒸馏）
d. GPU集群通信架构（卡间通信NVLink/PCIe，机间通信RDMA/RoCE），理解NCCL、HCCL等通信库的工作机制
良好的团队协作能力与工程落地能力，对技术有持续热情
工作职责
负责LLM/VLM大模型的部署与推理性能优化，系统性降低硬件延迟瓶颈，保障高并发下线上服务稳定性（TTFT与TPOT满足SLA要求）
探索前沿推理加速技术，推动在新型GPU/NPU等硬件上的落地
优先资格
a. 有超大规模模型（1T参数以上）的分布式部署经验
b. 有推理系统经验，如为vLLM、SGLang、TensorRT-LLM贡献过核心PR
c. 有投机采样（Speculative Decoding）的落地与优化经验（如EAGLE、DFlash等）
d. 有相关开源项目、专利或论文发表
e. 有国产芯片（如昇腾、海光等）的在线服务加速经验
AI 洞察
优缺点分析
优点
- 热门赛道，技术前沿性强，与AI基础设施紧密相关
- 上市公司背景，资源充足，项目落地机会多
- 技术栈现代，可积累CUDA/Triton等稀缺技能
- 有望参与开源项目（如vLLM）贡献，提升行业影响力
- 技术门槛高，需同时掌握系统、算法和硬件知识
- 工作强度较大，线上服务稳定性要求高，可能需要on-call
- AI领域发展快，需持续学习新硬件和新算法
- 适合热爱底层优化、对AI推理性能有极致追求，且具备较强系统编程和团队协作能力的资深工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术深耕：成为推理优化专家，主导核心推理系统架构设计
- 横向拓展：向AI框架开发或硬件协同设计方向发展
- 管理方向：带领优化团队，负责大规模推理集群的效能提升
- 负责部署和优化LLM/VLM大模型，降低推理延迟并提升吞吐量
- 分析GPU/NPU硬件特性，编写高性能CUDA/Triton内核
- 维护线上推理服务的稳定性，确保TTFT/TPOT满足SLA
- 探索并引入前沿推理加速技术（如FlashAttention、PagedAttention）
- 精通Python和C++，具备高性能代码优化能力
- 深入理解Transformer架构及Attention变体，熟悉常见优化技术
- 掌握至少一种GPU编程工具（CUDA/Triton）和性能分析工具
- 了解模型压缩（量化、蒸馏）和分布式通信（NCCL/RDMA）
申请策略
- 准备一个端到端的推理优化案例，用STAR法则展示从问题到解决的完整过程
- 了解优刻得在AI云服务方面的布局，结合自身经验谈如何为业务创造价值
- 突出GPU编程项目经验，特别是使用CUDA/Triton进行内核优化的案例
- 强调模型加速成果，如推理延迟降低百分比、吞吐量提升倍数等量化数据
- 列出参与过的开源项目（如vLLM、TensorRT-LLM）或相关论文/专利
- 体现对Transformer Attention机制的深入理解，如FlashAttention应用经验
- 复习CUDA编程模型和Triton语言，练习编写高性能kernel
- 深入阅读vLLM、SGLang等推理框架源码，理解PagedAttention等核心机制
面试指南
- 对于原理类问题，采用“定义-原理-优缺点-应用场景”结构回答
- 对于优化类问题，使用“问题定位-方案选择-实施过程-效果量化”的叙述逻辑
- 对于突发问题，可采用“监控报警-初步排查-根因分析-修复验证-复盘总结”的故障处理框架
- 请解释FlashAttention的原理及其相比标准Attention的优势
- 如何优化LLM推理时的显存占用？请列举至少三种方法
- 描述你使用CUDA/Triton进行性能调优的一次经历，包括分析工具和优化步骤
- 在分布式推理场景下，如何降低通信开销？请结合NCCL/RDMA说明
- 如果线上服务的TTFT突然升高，你会如何排查和解决？
职位点评
66
综合评分
前沿AI推理优化岗，技术成长快，薪资有竞争力，但工作强度大、WLB一般。
更适合这类人
适合追求技术成长和前沿挑战，对薪资和稳定性有一定要求，但能接受现场办公和高强度工作的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利65
成长发展90
工作生活40
使命价值70
薪资福利
65中等
薪资水平较高，但JD未提及具体福利，稳定性一般（上市公司但AI赛道波动）。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
90较高
岗位技术前沿，涉及最新推理优化技术，有开源贡献机会，但未明确晋升路径。
技术前沿前沿/新兴技术
技术栈LLM、VLM、FlashAttention、PagedAttention、CUDA、Triton、vLLM、SGLang、TensorRT-LLM、NCCL
业务类型profit_center
工作生活
40较低
仅现场办公，未提及弹性或远程，可能导致通勤压力，工作强度可能较高。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI基础设施对社会有积极推动作用，但JD未强调使命；行业高速增长，创新性强。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
优刻得 的其他在招职位
相似职位推荐
Watch Jobs