大模型推理研发专家-基础设施

优缺点分析

角色解读

• 技术深度发展：成为大模型推理系统架构专家，主导核心技术
• 横向扩展：可转向AI基础设施、分布式计算等相邻领域
• 管理路线：技术领导力强可晋升为技术经理或架构师
• 负责设计并实现高性能的大模型推理服务引擎，优化推理性能与吞吐
• 进行全链路性能分析，定位并解决系统瓶颈，确保SLA达标
• 研究并引入前沿推理技术，如编译优化、模型量化等
• 与跨团队协作，推动大型技术项目的落地
• 精通C/C++和Python，具备大规模机器学习系统开发经验
• 深入了解至少一种大模型推理框架（如vLLM、TensorRT-LLM）
• 熟练使用性能分析工具（Perf、eBPF、Nsight），具备复杂系统调优能力
• 优秀的沟通协作能力，能独立推进项目

申请策略

• 面试前准备一两个性能调优的完整项目故事，包括问题、方法、结果
• 了解字节跳动大模型相关业务（如豆包），思考如何与职位结合
• 突出在推理框架（vLLM等）上的深入使用或二次开发经历
• 详细描述性能优化的具体案例和量化成果（如吞吐提升、时延降低）
• 展示GPU编程（CUDA）和系统调优（Perf/eBPF）的实战经验
• 深入研读vLLM或TensorRT-LLM源码，理解核心优化策略
• 学习GPU架构和CUDA编程，掌握Nsight性能分析工具

面试指南

• STAR法则：情境、任务、行动、结果，量化成果
• 比较分析时，从架构、生态、性能等维度展开，结合实践经验
• 技术问题先给出理论，再结合实际场景说明应用
• 请描述一次你优化系统性能的经历，使用了哪些工具和方法？
• 对比vLLM和TensorRT-LLM的优缺点，你更倾向于哪种？为什么？
• 如何在大模型推理中平衡延迟和吞吐？请给出具体策略
• 解释CUDA中的grid和block调度，如何影响性能？
• 如何处理分布式推理中的通信瓶颈？