推理引擎工程师

优缺点分析

角色解读

• 纵向可深耕AI Infra领域，成为推理引擎或异构计算方向的资深技术专家
• 横向可拓展至大模型全链路优化、搜推系统架构设计，成长为技术架构师或技术团队负责人
• 设计并开发美团搜推场景下的推理引擎架构，支持大语言模型和生成式推荐/排序模型
• 深入GPU底层进行性能调优，降低单次推理成本，实现大规模业务的降本增效
• 追踪AI前沿技术，将最新研究成果转化为实际业务落地，优化用户使用体验
• 精通C++/Python，具备扎实的多线程、分布式系统设计与底层性能优化能力
• 深入理解GPU体系结构（如SM、Warp调度），熟练掌握CUDA编程及性能调优
• 熟悉vLLM、TensorRT-LLM等主流推理框架的底层架构与源码，具备源码级阅读和修改能力

申请策略

• 提前了解核心本地商业的业务逻辑，思考搜推场景下大模型推理的特殊需求（如低延迟、高并发）
• 准备好底层技术细节的深挖，面试中可能会涉及大量计算机体系结构和C++底层原理的拷问
• 突出CUDA编程经验及GPU性能调优的具体成果，务必提供提升吞吐量或降低延迟的量化指标
• 详细阐述对vLLM/TensorRT-LLM等框架源码的理解深度，以及可能的源码级贡献或魔改经验
• 展示在分布式系统或高并发推理服务架构设计方面的实际项目经验与踩坑总结
• 深入学习GPU体系结构及CUDA高级编程技巧，重点掌握显存管理与线程调度优化
• 阅读并剖析主流开源推理框架的核心源码，理解其请求调度、KV Cache管理等关键机制

面试指南

• 原理剖析+实践案例：先准确阐述底层原理（如GPU架构、框架机制），然后结合自己做过的项目说明如何应用该原理解决实际问题
• 量化结果导向：在描述优化经验时，务必给出具体的性能提升指标（如延迟降低X%，吞吐提升Y%），体现工程落地能力
• 请详细描述GPU的SM架构、Warp调度机制以及显存带宽对推理性能的影响
• 在CUDA编程中，你是如何进行性能调优的？请分享一个具体的优化案例及量化收益
• vLLM的PagedAttention机制是如何工作的？它解决了大模型推理中的什么痛点？
• 针对大语言模型的推理，除了显存优化，还有哪些降低延迟或提高吞吐量的方法？
• 在分布式推理场景下，如何处理节点间的通信和负载均衡？
• 复习计算机体系结构、CUDA编程指南，重点准备GPU内存层次、线程模型等底层知识