字节跳动
高性能计算研发工程师-Data语音
高性能计算研发工程师-Data语音
发布于 大约 11 小时前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
学历未注明
软件工程
分布式计算
CUDA
模型量化
GPU推理
SGLang
vLLM
AI 估算 · 35k–65k
字节大厂资深算法岗，AI推理稀缺方向，薪资竞争力强，中位数约5万/月。
职位详情
关于这个职位
该职位负责构建新一代大模型推理引擎，优化多模态语音大模型的GPU推理性能，实现低延迟高吞吐的工业级部署
你将主导CUDA/Triton算子开发、vLLM/SGLang框架升级及分布式推理优化，与上下游团队协作推动AI关键业务落地
适合对高性能计算、GPU编程和大模型推理有深入经验的技术专家
最低要求
精通Python，熟悉C++特性，具备高性能代码开发能力和相关经验
至少具备以下一个领域经验：GPU编程（CUDA/Triton/AscendC/TileLang开发）、模型量化/稀疏化/蒸馏、基于vLLM的框架研发，并行计算的通算结合（多卡/多机推理优化）
工作职责
负责构建新一代大模型推理引擎，优化多模态语音理解/语音生成等多模态生成大模型在GPU集群上的推理性能，实现低延迟、高吞吐的工业级部署
主导模型推理性能优化，涵盖CUDA/Triton算子开发、vLLM/SGLang框架升级、分布式推理策略优化、量化/稀疏化等模型efficiency加速优化等
研发GPU推理加速技术栈，设计最佳分布式通算结合方案，优化PCIe通信与高并发推理架构
负责高性能方案前瞻性建设，构建基于C++/Python研发的高性能推理系统
与上下游部门深度合作，分析性能瓶颈，通过软硬结合提升模型训推效率，优化和部署语音大模型，支持AI工具链和技术生态建设，推动字节跳动AI关键业务发展
负责语音多模态场景下高性能推理系统的开发，支撑各业务场景下的性能优化需求并推动业务落地
优先资格
符合以下条件者优先：拥有推理系统经验、具备vLLM/SGLang开发经验、Tilelang/Tritton开发经验，深入了解Transformer架构，有量化/稀疏化等相关技术落地或者论文发表等相关经验
AI 洞察
优缺点分析
优点
- 深度参与大模型推理前沿技术，积累CUDA、分布式计算等高壁垒技能
- 字节跳动AI业务核心团队，资源丰富，项目影响力大，职业发展空间广阔
- 薪资待遇优厚，大厂算法岗竞争力强
- 技术难度高，需要扎实的C++/CUDA基础和并行优化经验，学习曲线陡峭
- 需要持续跟进AI推理领域快速迭代的技术栈，保持学习状态
- 该职位适合具备GPU编程或推理优化经验、热爱底层性能调优、希望在AI基础设施领域深入发展的技术专家
缺点 / 挑战
- 工作强度可能较大，互联网大厂对项目交付有较高要求
角色解读
- 技术深耕：成为GPU推理和大模型部署领域的专家，主导核心技术攻关
- 架构转型：积累系统设计经验，向推理系统架构师或AI基础设施负责人发展
- 横向拓展：结合语音多模态业务，向AI产品化或技术管理方向成长
- 构建新一代大模型推理引擎，重点优化多模态语音模型在GPU集群上的推理性能，实现低延迟高吞吐
- 开发CUDA/Triton算子，升级vLLM/SGLang框架，优化分布式推理策略和通信架构
- 对模型进行量化、稀疏化等压缩加速，与上下游团队协作分析性能瓶颈并推动落地
- 精通Python和C++，具备高性能代码开发能力
- 深入掌握GPU编程（CUDA/Triton等）或模型压缩技术（量化/稀疏化/蒸馏）
- 熟悉vLLM/SGLang等推理框架，了解Transformer架构和分布式计算原理
申请策略
- 在简历中明确列出使用过的技术栈和性能优化指标，用数据说话
- 关注字节跳动AI业务动向，面试中展现对大模型推理趋势的理解
- 突出与GPU编程、推理引擎开发相关的项目经验，量化性能优化成果（如延迟降低、吞吐提升）
- 强调对vLLM/SGLang等推理框架的改造或使用经验，以及CUDA/Triton算子开发案例
- 提及模型量化、稀疏化等压缩技术的落地经验，或相关论文发表
- 深入学习CUDA编程模型和Triton语言，动手实现常见算子（如FlashAttention）
- 熟悉vLLM或SGLang源码，理解其调度、显存管理等核心机制
- 补充分布式推理知识，包括PCIe通信、NVLink等硬件特性
面试指南
- 对于性能优化问题，先分析瓶颈（计算/访存/通信），再提出针对性方案（算子融合、量化、并行策略等），最后用具体数据佐证
- 对于框架相关的问题，从设计思路、核心算法、对比优势三方面回答，体现深度理解
- 如何优化Transformer模型的推理延迟？请给出具体方案
- 描述你参与过的CUDA kernel开发项目，遇到了哪些性能瓶颈，如何解决？
- vLLM的PagedAttention原理是什么？对比传统推理方案的优势？
- 在分布式推理中，如何处理多卡通信开销？请举例说明
- 你对模型量化的理解（如INT8/FP8），在实际落地中如何选择量化方案？
- 复习CUDA编程模型和经典优化案例（如矩阵乘法、Reduce操作）
职位点评
70
综合评分
字节AI核心岗位，前沿技术栈，薪资优厚，但工作强度较大，WLB一般。
更适合这类人
最看重技术成长和职业发展的技术专家，对工作生活平衡要求不高且能接受一定强度。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展95
工作生活40
使命价值75
薪资福利
70中等
字节跳动薪资水平在行业中具有较强竞争力，但具体数额未披露；年终奖和福利较好，但JD未明确列出。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
95较高
该职位聚焦大模型推理前沿技术（CUDA、vLLM、量化等），技能成长空间极大，是AI基础设施核心方向。
技术前沿前沿/新兴技术
技术栈CUDA、Triton、vLLM、SGLang、Transformer、量化、分布式推理
业务类型profit_center
工作生活
40较低
现场办公无弹性，互联网大厂工作节奏较快，JD未提及WLB措施，推测加班可能较多。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
AI行业属于高速增长赛道，该职位直接参与核心业务，有较强技术影响力，但社会使命导向不突出。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs