【LongCat实习】 大模型推理AI工程师

优缺点分析

角色解读

• 在美团核心业务平台积累大模型推理工业级经验，成为AI系统优化专家
• 未来可转向更前沿的AI Infra方向，如分布式训练、边缘推理等
• 表现优异有机会转正，进入美团基础研发平台成为正式员工
• 主要负责大模型推理引擎的研发和优化，包括系统性能调优、模型量化和压缩
• 开发和维护大规模推理引擎，解决推理过程中的技术难题
• 开展相关技术研究，提出创新性解决方案并推动落地
• 参与模型部署工作，确保推理服务的高效稳定运行
• 熟练掌握C++和CUDA编程，具备扎实的数据结构与算法功底
• 熟悉深度学习理论，特别是Transformer结构及优化方法
• 熟悉PyTorch或TensorFlow，了解vLLM、FasterTransformer等推理框架
• 具备良好的团队合作和沟通能力，能够承担一定工程管理职责

申请策略

• 在简历中体现对美团业务的理解，比如核心本地商业与AI的结合点
• 准备一段自我介绍，突出自己在大模型推理方面的思考或实践心得
• 突出C++/CUDA编程经验，尤其是与高性能计算或GPU优化相关的项目
• 展示对Transformer模型或推理框架（如vLLM、TensorRT）的实践经历
• 强调参与过的深度学习项目或竞赛，特别是涉及模型部署和优化的部分
• 提前学习主流推理框架的使用和原理，尝试在本地部署开源大模型
• 补充CUDA编程和模型量化方面的知识，可以参与一些开源优化项目

面试指南

• 对技术问题：先讲概念原理，再结合自己的项目经历说明具体做法和效果
• 对对比类问题：从性能、易用性、社区支持等维度分析，给出个人偏好理由
• 对问题解决类：先描述问题场景，再分析原因，最后给出解决方案和验证结果
• 请解释Transformer结构中的self-attention机制及优化方法
• 你在CUDA编程中做过哪些优化？如何提升GPU利用率？
• 对比vLLM和TensorRT-LLM的优缺点，你更倾向于使用哪个？为什么？
• 模型量化有哪些常见技术？在你的项目中如何实现？
• 如何处理大模型推理中的显存不足问题？