字节跳动
AML 机器学习推理框架研发工程师
AML 机器学习推理框架研发工程师
发布于 大约 2 个月前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
研究与开发 (研发)
GPU
PyTorch
TensorFlow
CUDA
模型优化
并行计算
MLIR
cuDNN
TVM
AI 估算 · 30k–50k
机器学习推理框架开发技术难度高，大厂核心中台岗位，薪资竞争力强。
职位详情
关于这个职位
参与字节跳动AML机器学习中台的在线推理框架研发，为抖音、今日头条等核心业务部署和优化CV、NLP等模型
你将与算法团队深度合作，从系统架构和软硬件协同角度提升推理性能，探索前沿技术如GPU优化和模型量化
适合对底层系统优化有热情、追求技术深度的工程师
最低要求
熟练掌握Linux环境下的C/C++、Python语言
具备扎实的计算机科学功底和编程能力，熟悉常见算法和数据结构，具有良好的编程习惯
能够熟练使用至少一种主流的机器学习框架(TensorFlow / PyTorch等)，熟悉框架内部实现
熟悉至少一种经典深度学习模型及其应用场景，如ResNet、BERT等
有良好的工作文档习惯，及时按要求撰写更新工作流程及技术文档
工作职责
负责字节跳动AML机器学习在线服务框架的研究与开发，服务于公司各个产品
高效部署，优化计算机视觉、语音识别、语音合成、自然语言处理等字节跳动核心业务模型
与公司各算法部门深度合作，分析业务性能瓶颈和系统架构特征，软硬件结合优化，实现极致性能
优先资格
对深度学习训练和推理模型调试、调优有实操经验
理解GPU硬件架构，理解GPU软件栈（CUDA，cuDNN)，具备GPU性能分析的经验
熟悉各类深度学习网络和算子底层实现细节
熟悉并行计算算法，擅长各类并行编程
熟悉模型剪枝、量化等优化方法
熟悉TVM、MLIR、XLA等模型优化工具
了解GAN，强化学习，图神经网络，AutoML等
AI 洞察
优缺点分析
优点
- 参与核心业务，技术影响力大，直接服务亿级用户
- 接触前沿的AI系统和GPU优化技术，技能积累快
- 大厂平台，薪资福利优厚，职业发展空间大
- 技术难度高，需要同时掌握系统编程和深度学习知识
- 业务需求复杂，可能面临高强度工作和紧张的项目周期
- 技术迭代快，需要持续学习新工具和框架
- 适合对底层系统优化有浓厚兴趣、精通C++和GPU编程、渴望在AI基础设施领域深耕的技术型工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术深耕方向：成为机器学习系统领域的专家，主导推理框架架构设计
- 跨领域发展：转向AI芯片或编译器方向，结合硬件优化
- 管理方向：带领团队负责某业务线的模型部署和性能优化
- 研发和优化字节跳动的机器学习在线服务框架，支撑抖音、今日头条等产品的模型推理
- 高效部署和加速CV、NLP、语音等深度学习模型，涉及GPU编程和系统调优
- 与算法团队协作，分析业务场景的性能瓶颈，从软硬件结合角度实现极致性能
- 扎实的C/C++和Python编程能力，熟悉数据结构和算法
- 深入理解至少一种主流深度学习框架（TensorFlow/PyTorch）的内部实现
- 掌握GPU架构和CUDA编程，具备性能分析和优化经验
- 了解模型剪枝、量化等优化方法及TVM、MLIR等编译工具
申请策略
- 在简历或面试中展示对字节跳动技术栈（如AML中台）的兴趣，了解其业务应用
- 准备一个端到端的模型部署性能优化案例，包括问题分析、方案对比和效果数据
- 突出在GPU编程（CUDA/cuDNN）和性能优化方面的实际项目经验
- 展示对PyTorch或TensorFlow框架内部机制的理解，如算子注册、图优化等
- 如果有模型量化、剪枝或使用TVM/MLIR的项目经历，重点描述
- 强调系统编程（C++、多线程、内存管理）和解决复杂性能问题的能力
- 提前学习TVM或MLIR的基本原理和用法，了解模型编译优化流程
- 巩固并行编程知识，熟悉CUDA编程模型和性能分析工具（NVIDIA Nsight）
面试指南
- 对于框架相关的问题，从算子注册到执行流逐步分析，结合源码或原理说明优化点
- 对于GPU优化问题，采用定位瓶颈（带宽/计算/延迟）→ 选择优化策略（算子融合/内存访问优化/并行度调整）→ 验证效果的思路
- 请解释TensorFlow或PyTorch中计算图的执行流程，如何进行图优化？
- 描述一个你使用CUDA进行GPU性能优化的案例，遇到了哪些瓶颈？
- 如何对深度学习模型进行量化？量化的精度损失如何评估和缓解？
- TVM和MLIR在模型优化中各自扮演什么角色？它们在性能上有什么差异？
- 系统设计题：设计一个高吞吐、低延迟的在线推理服务，如何实现？
- 复习C++11/14新特性、模板元编程等高级知识，可能用于框架开发
匹配度报告
75
综合匹配度
大厂核心中台，前沿技术栈，高薪高成长，但工作强度较大，WLB一般。
适合人群
适合以技术成长为首要目标、愿意在AI系统领域深入钻研的技术型求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展90
工作生活50
使命价值75
薪资福利匹配
85较高
字节跳动作为头部互联网大厂，薪资水平处于行业领先，且该岗位为技术核心岗，薪酬竞争力强。虽未明确福利，但通常包括六险一金、年终奖等。
薪资信号未披露（AI估算：30K-50K/月）
成长发展匹配
90较高
该岗位涉及GPU编程、模型优化、推理框架开发等前沿技术，能够深度参与AI基础设施，技术成长空间大。
技术前沿前沿/新兴技术
技术栈C++、Python、TensorFlow、PyTorch、GPU、CUDA、cuDNN、TVM、MLIR、模型量化
业务类型profit_center
工作生活匹配
50较低
工作地点在上海，仅现场办公，互联网大厂通常有较高工作强度，但未在JD中明确加班情况。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值匹配
75中等
岗位支持核心业务发展和AI技术前沿研究，使命感较强，但社会直接影响力一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs