LongCat - 大模型推理 AI 工程师（多方向）

优缺点分析

角色解读

• 技术深耕：从推理引擎开发走向系统架构师，主导大规模分布式推理系统设计
• 跨领域拓展：结合业务需求，向AI平台、算法优化等方向延伸
• 管理路径：积累工程经验后，可担任技术负责人或团队Leader
• 负责大模型推理引擎的研发和优化，包括系统优化、模型量化压缩和部署
• 开发和维护基于大规模数据的推理引擎，解决推理过程中的性能瓶颈
• 参与前沿技术研究，提出创新解决方案，推动推理技术演进
• 精通C++和CUDA编程，熟悉常见数据结构和算法
• 扎实的深度学习和机器学习理论，熟悉Transformer架构
• 熟悉主流深度学习框架（如PyTorch、TensorFlow）和推理框架（如vLLM、TensorRT-LLM）

申请策略

• 关注美团技术博客和开源项目，了解其推理引擎技术栈，面试中可展示匹配度
• 准备一个完整的推理优化案例，从问题到解决方案，体现技术深度
• 突出C++和CUDA项目经验，尤其是高性能计算或推理优化相关
• 强调深度学习框架使用经验，如PyTorch模型部署或量化
• 如有推理框架（vLLM、TensorRT-LLM）使用或开发经历，重点展示
• 深入学习CUDA编程和GPU架构，掌握模型量化、剪枝等技术
• 熟悉主流推理框架的源码和优化技巧，如vLLM的调度机制
• 补充分布式系统知识，了解大规模推理服务的部署与调优

面试指南

• 对于优化类问题，从算法、系统、硬件三个层面分层回答，先理论后实践
• 比较类问题，从性能、易用性、生态等维度展开，结合具体场景
• 经验类问题，使用STAR法则：情境、任务、行动、结果
• 如何优化Transformer模型的推理速度？请具体说明
• 解释CUDA编程中shared memory和global memory的区别及优化策略
• 比较vLLM和TensorRT-LLM的优缺点，你更倾向哪个？
• 描述一次你解决推理系统瓶颈的经历
• 大模型量化有哪些常见方法？如何选择量化精度？