字节跳动
大模型推理优化工程师-Data语音
大模型推理优化工程师-Data语音
发布于 大约 11 小时前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
学历未注明
软件工程
GPU优化
CUDA
模型量化
SGLang
vLLM
分布式推理
语音多模态
AI 估算 · 35k–65k
大模型推理优化属于前沿技术方向，字节跳动薪资竞争力强，且要求高，预估月薪35k-65k
职位详情
关于这个职位
该职位负责构建和优化字节跳动语音大模型的推理引擎，涉及CUDA/Triton算子开发、vLLM/SGLang框架升级、分布式推理策略优化等，目标是实现低延迟、高吞吐的工业级部署
你将与上下游团队合作，分析性能瓶颈并推动业务落地，适合对AI推理性能有极致追求的技术人才
最低要求
精通Python，熟悉C++特性，具备高性能代码开发能力和高性能代码开发相关经验
至少具备以下一个领域经验：GPU编程（CUDA/Triton/AscendC/TileLang开发）、模型量化/稀疏化/蒸馏、基于vLLM的框架研发、并行计算通算结合（多卡/多机推理优化）
符合以下条件者优先：拥有推理系统经验、具备vLLM/SGLang开发经验、Tilelang/Tritton开发经验，深入了解Transformer架构，有量化/稀疏化等相关技术落地或者论文发表等相关经验
工作职责
负责构建新一代大模型推理引擎并主导性能优化，涵盖CUDA/Triton算子开发、vLLM/SGLang框架升级、分布式推理策略优化、量化/稀疏化等模型效能加速技术，优化多模态语音理解/语音生成等多模态生成大模型在GPU集群上的推理性能，实现低延迟、高吞吐的工业级部署
研发GPU推理加速技术栈，设计最佳分布式通算结合方案，搭建PCIe通信与高并发推理架构
负责高性能方案前瞻性建设，构建基于C++/Python研发的高性能推理系统
与上下游部门深度合作，分析性能瓶颈，通过软硬结合提升模型训推效率，优化和部署语音大模型，支撑语音多模态场景下的性能优化需求并推动业务落地，支持AI工具链和技术生态建设，推动AI关键业务发展
优先资格
加分项：
在ACM/NOI/IOI/TopCoder获奖者优先
有定点量化、指令集优化、深度模型优化等相关项目经验者优先
有CPU、GPU、NPU、ARM、OpenCL、DSP等高性能计算优化经验者优先
有相关语音信号处理，语音识别、语音合成或者自然语言处理经验的优先
有相关语音算法引擎开发经验的优先
AI 洞察
优缺点分析
优点
- 前沿技术方向：直接参与大模型推理优化，技术含金量高，积累稀缺经验
- 平台优势：字节跳动海量业务场景和海量数据，有实际落地价值
- 团队资源：与优秀同事合作，接触工业级推理系统设计与优化
- 技术难度高：需要精通GPU编程和分布式系统，学习曲线陡峭
- 领域竞争激烈：AI推理优化人才稀缺，需持续跟进最新技术
缺点 / 挑战
- 工作强度大：互联网大厂节奏快，可能面临加班和快速迭代压力
- 适合对AI系统性能有极致追求、热爱GPU优化和底层技术、能适应高压力环境的工程师
角色解读
- 技术纵深：成为GPU计算与推理优化领域的专家，主导核心组件研发
- 横向拓展：向AI系统架构师发展，覆盖训练、推理、部署全链路
- 管理方向：带领推理优化团队，负责技术策略制定与业务落地
- 负责构建和优化大模型推理引擎，通过CUDA/Triton算子开发、分布式策略优化等手段提升推理性能
- 研发GPU推理加速技术栈，设计高效的通信与并发架构，实现低延迟高吞吐部署
- 与算法、工程团队协作，分析性能瓶颈并推动语音多模态场景的业务落地
- 精通Python和C++，具备高性能代码开发能力
- 深入掌握GPU编程（CUDA/Triton等），或模型量化/稀疏化/蒸馏等技术
- 熟悉分布式推理、vLLM/SGLang框架，了解Transformer架构
申请策略
- 了解字节跳动语音产品线，思考性能优化对业务的具体价值
- 准备技术案例：从瓶颈分析到优化方案落地的完整思路
- 突出GPU编程项目经验（CUDA/Triton），最好有性能提升数据
- 强调vLLM/SGLang开发或分布式推理优化相关成果
- 展示Python/C++高性能代码能力，以及量化/稀疏化等模型优化经验
- 深入学习CUDA编程模型和Triton语言，实践算子优化
- 熟悉vLLM/SGLang源码，理解推理引擎设计原理
- 补充分布式系统知识，如多卡通信、PCIe拓扑等
面试指南
- 对性能优化类问题，采用'瓶颈分析→方案设计→实施验证→迭代优化'的框架
- 对经验类问题，采用STAR法则（情境-任务-行动-结果）突出成果和数据
- 如何优化一个Transformer模型在GPU上的推理延迟？请从算子、通信等角度阐述
- 介绍一下你使用vLLM或SGLang的经验，以及你在其中的贡献
- CUDA编程中，如何实现一个高效的FlashAttention算子？
- 分布式推理中，如何平衡计算与通信开销？
- 模型量化（如INT8/INT4）对推理性能的影响以及实现难点
- 复习CUDA编程模型、Tensor Core、算子融合等技术
职位点评
69
综合评分
前沿大模型推理优化岗位，薪资优厚、技术成长快，但工作强度较大。
更适合这类人
适合高度重视技术成长和薪资回报，能接受高强度工作的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利90
成长发展95
工作生活30
使命价值60
薪资福利
90较高
字节跳动薪资福利优厚，该岗位技术稀缺，预计薪资水平偏高，补偿性动机满足度高。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
95较高
涉及大模型推理前沿技术，有大量学习和成长空间，发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈CUDA、Triton、vLLM、SGLang、分布式推理、模型量化、稀疏化、Transformer架构
业务类型profit_center
工作生活
30较低
互联网大厂研发岗位，工作强度大，可能需加班，生活化动机满足度低。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
60中等
推动AI技术落地，有一定技术影响力，但社会价值偏中立。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs