大模型推理引擎研发实习生

优缺点分析

角色解读

• 技术深度：从框架使用到内核开发，成为AI系统/基础架构领域的专家
• 技术广度：横向扩展至训练框架、编译优化、异构计算等更广泛的AI系统领域
• 影响力：参与定义和优化公司级AI基础设施，影响全公司算法研发效率
• 负责大语言模型/多模态大模型推理服务框架的核心模块研发与迭代
• 运用并行计算、分布式架构等技术优化推理系统的性能与易用性
• 深度参与模型管理、部署、监控等深度学习系统生态建设
• 与业务算法团队协作，针对具体场景进行算法与系统的联合优化
• 扎实的编程基础，精通C++和Python，熟悉Linux开发环境
• 熟悉主流深度学习框架（如PyTorch）和至少一种LLM推理框架（如vLLM）的原理与使用
• 了解GPU硬件架构与CUDA软件栈，具备性能分析与优化能力
• 具有强烈的责任心、自驱力和良好的团队协作沟通能力

申请策略

• 仔细阅读JD中的每一项要求，并思考如何将自己的经历与之匹配
• 了解小红书的AI业务方向（如搜索、推荐、内容生成等），思考推理系统如何支撑这些业务
• 在面试中展现你对技术的好奇心和钻研精神，以及对系统性能的敏感度
• 突出C++/Python项目经验，特别是涉及性能优化、系统开发或算法实现的部分
• 详细描述使用或参与过的深度学习框架（PyTorch等）、推理框架（vLLM等）或CUDA编程经历
• 如有开源项目贡献（尤其是AI系统、编译器、高性能计算相关），务必重点展示
• 强调在过往项目中解决复杂技术难题、进行性能调优的具体案例
• 系统学习CUDA编程和GPU体系结构，尝试进行简单的算子性能分析或优化实践

面试指南

• 对于技术问题，采用“背景-挑战-行动-结果”的结构清晰描述，并突出自己的思考和贡献
• 对于框架/系统设计问题，先阐述整体思路和核心模块，再深入关键技术点（如KV Cache管理、批处理策略），最后讨论可能的优化方向
• 对于动机类问题，结合自身技术兴趣、对AI系统价值的理解以及该岗位的具体内容来回答
• 请介绍一个你参与过的涉及性能优化或系统开发的C++/Python项目，遇到了什么挑战，如何解决的？
• 你熟悉vLLM或TensorRT-LLM吗？它们在架构设计上有什么特点？
• 如果要你设计一个简单的LLM推理服务，你会考虑哪些核心模块和优化点？
• 你对GPU上的算子优化或并行计算有什么了解？
• 为什么对大模型推理引擎这个方向感兴趣？