大模型推理引擎研发工程师

优缺点分析

角色解读

• 在AI推理优化领域深耕，成为技术专家，负责更复杂的优化任务和架构设计
• 向技术管理方向发展，带领团队负责AI基础设施的建设和优化
• 横向拓展到AI全流程，包括数据、训练、评测等，成为AI领域的全栈工程师
• 负责LLM大语言模型的推理优化，包括但不限于算子优化、内存优化、并行策略等，提升模型推理速度和效率
• 负责机器学习引擎的编译优化工作，如TVM、TensorRT等框架的定制和优化，确保模型在特定硬件上高效运行
• 负责模型稀疏化和模型量化，在保证模型精度的前提下，降低模型大小和计算量，提升推理性能
• 熟练掌握CUDA编程和C++编程，具备扎实的数据结构和算法基础
• 熟悉TVM、TensorRT或FastTransformer等推理优化框架，有实际优化经验
• 熟悉LLM大模型相关背景知识，有相关方向的研究经验和产出

申请策略

• 了解美团在AI领域的业务布局和技术方向，在面试中展示对业务的思考
• 准备一个你主导的推理优化项目，详细说明优化思路、过程和效果
• 突出CUDA编程和C++编程的实战经验，包括性能优化、内存管理、并行计算等
• 强调在TVM、TensorRT或FastTransformer等框架上的优化经验，最好有具体的性能提升数据
• 展示LLM相关的研究或项目经验，如模型推理优化、模型压缩、量化等
• 如有开源项目或技术博客，可以附上链接，展示技术深度和影响力
• 深入学习CUDA编程和GPU架构，掌握性能分析工具（如NVIDIA Nsight）
• 熟悉主流推理优化框架的源码和优化技巧，如TensorRT、TVM

面试指南

• 使用STAR法则（情境、任务、行动、结果）来回答项目经验问题，突出你的具体贡献和量化结果
• 对于技术方案类问题，先阐述你的思路，再结合具体技术细节，最后总结优缺点和适用场景
• 对于开放性问题，可以结合你的项目经验，展示你的思考过程和解决问题的能力
• 请详细介绍一下你使用CUDA进行性能优化的项目，具体做了哪些优化？
• 你如何选择和使用TensorRT或TVM进行模型优化？遇到过哪些挑战？
• 谈谈你对LLM推理优化的理解，有哪些常用的优化策略？
• 如何实现模型量化？量化对模型精度有什么影响？如何权衡？
• 如何优化一个Transformer模型的推理速度？请给出你的思路