高级/资深机器学习推理框架研发工程师

优缺点分析

角色解读

• 技术专家路线：深耕推理优化、编译器（MLIR）、异构计算等领域，成为AI基础设施架构师
• 技术管理路线：带领小团队负责推理平台、模型服务等方向的整体规划与交付
• AI系统全栈：从前端推理延伸到训练框架、数据流水线等，成为更全面的AI系统专家
• 研发和维护机器学习模型（如推荐、广告、CV、NLP）的线上推理框架与平台
• 负责模型部署流程的性能分析与调优，确保高并发场景下的低延迟和高吞吐
• 与上游算法团队深度协作，将研究成果转化为稳定、高效的服务能力
• 精通C/C++编程，熟悉Linux系统与网络编程，能编写高性能、高并发的系统服务
• 深入理解机器学习模型结构（如Transformer、CNN）及主流深度学习框架（PyTorch/TensorFlow）的推理原理
• 具备性能分析与优化能力，了解GPU编程与加速技术（如CUDA、TensorRT、TVM等）
• 优秀的工程化能力与协作精神，能独立解决复杂系统问题

申请策略

• 深入研究哔哩哔哩的业务特点（如视频内容理解、推荐系统）和公开的技术博客，了解其技术栈和挑战
• 准备一段关于如何设计或优化一个机器学习推理服务的详细论述，展示你的系统设计思维
• 重点突出C++项目经验，特别是涉及高并发、高性能服务开发、性能调优的成果
• 详细描述使用或参与开发过深度学习推理引擎、编译器、或GPU加速程序的经验
• 列举优化模型在线服务性能的具体案例（如：将某模型推理延迟降低X%，或提升吞吐量Y倍）
• 展示独立解决复杂技术问题的能力，例如在性能瓶颈分析、内存泄漏排查等方面的经验
• 系统性学习现代C++（C++11/14/17）特性及在高性能服务器中的最佳实践
• 深入研究一种GPU编程模型（CUDA）或推理优化框架（如TensorRT、TVM），并完成实践项目

面试指南

• 使用STAR法则（情境、任务、行动、结果）结构化描述项目经历，突出你的技术决策和量化成果
• 在回答原理性问题时，先阐述核心概念，再结合具体工具或场景进行解释，展现深度
• 结合业务场景回答设计题，例如考虑B站视频推荐场景下的高并发、低延迟特殊要求
• 请描述一个你设计或深度参与的机器学习推理服务，你是如何保证其高并发和低延迟的？遇到了哪些性能瓶颈，如何解决？
• 如果你要优化一个基于Transformer模型的在线推理服务，你会从哪些方面入手进行性能分析？可能会用到哪些工具？
• 请解释一下TensorRT或TVM这类工具在模型推理优化中扮演的角色和基本原理
• C++中的智能指针、移动语义在高并发服务器编程中有什么作用？如何避免内存泄漏？
• 如果模型更新频繁，你会如何设计推理框架的动态加载与版本管理机制？