AML 机器学习推理框架研发工程师

优缺点分析

角色解读

• 从单模型优化到整个推理系统的架构设计，成为系统性能专家
• 深入底层硬件和编译器技术，转型为AI Infra或芯片软件栈方向
• 积累业务场景经验后，可转向算法研究或技术管理岗位
• 研发和维护字节跳动的机器学习在线服务框架，支持海量请求的低延迟推理
• 针对计算机视觉、语音、NLP等模型进行部署优化，包括算子融合、量化等
• 与算法团队协作，分析性能瓶颈，利用GPU和系统架构特点进行软硬件联合优化
• 精通C++和Python，具备扎实的计算机科学基础和算法能力
• 熟练使用TensorFlow或PyTorch，理解框架内部机制
• 了解经典深度学习模型（如ResNet、BERT）的原理和应用
• 加分：GPU编程（CUDA）、模型优化工具（TVM、MLIR）及并行计算经验

申请策略

• 了解字节跳动AML团队的技术博客或开源项目，在面试中展示共鸣
• 准备一个端到端的模型优化案例，从推理延迟到吞吐量，体现系统思维
• 突出C++/Python项目经验，尤其是高性能计算或框架二次开发经历
• 展示深度学习模型部署或优化的具体案例，包括性能提升数据
• 如有GPU编程或编译器相关经验，务必详细描述
• 强调对框架内部实现的理解，比如看过PyTorch源码等
• 学习CUDA和GPU架构，动手编写简单kernel
• 熟悉TVM或MLIR的基本用法，了解模型编译优化流程

面试指南

• 从系统角度分层次：算法层（剪枝、量化）、框架层（算子融合、图优化）、硬件层（kernel调优、内存布局）
• 对比方法时，先定义指标（延迟、吞吐），再分析优缺点，最后给出场景推荐
• 问题排查类：先定位瓶颈（CPU/GPU/IO），再用工具（NVIDIA Nsight、perf）分析，最后给出优化方案
• 如何优化一个PyTorch模型在GPU上的推理速度？请列举具体方法
• 解释TensorFlow与PyTorch的图执行模式差异及其对性能的影响
• CUDA中的warp divergence是什么？如何避免？
• 描述一下模型量化的工作原理，以及你可能遇到的精度问题
• 如何排查线上推理服务的内存泄漏或性能抖动问题？