元宝-LLM大模型推理工程师

优缺点分析

角色解读

• 技术纵深发展：成为LLM推理优化领域专家，主导核心技术攻关
• 架构师方向：参与大规模分布式推理系统设计，拓展系统架构能力
• 技术管理方向：积累经验后转向技术团队管理，带领团队突破技术难题
• 开发和优化大模型推理框架，提升推理速度和效率
• 利用GPU、CUDA进行性能优化，包括并行计算、访存优化、低比特计算等
• 研究前沿技术架构，如子图匹配、编译优化、模型量化，并引入实际项目中
• 精通GPU高性能计算优化，深入理解计算机体系结构
• 丰富的CUDA编程和优化经验
• 熟悉深度学习框架（PyTorch/TensorFlow）及模型解析
• 了解主流LLM模型和推理引擎（TensorRT-LLM、vLLM等）

申请策略

• 了解腾讯元宝产品线，思考大模型推理在应用中的挑战
• 准备一个完整的性能优化案例，从问题定位到优化效果的数据分析
• 突出GPU/CUDA性能优化项目经验，尤其是低比特计算、访存优化等
• 展示LLM推理引擎（如TensorRT-LLM、vLLM）的实践经验
• 强调深度学习模型优化和部署背景，包括量化、剪枝等
• 深入学习CUDA编程和GPU架构，掌握NVIDIA性能分析工具（Nsight）
• 动手实践LLM推理框架，阅读核心源码，尝试优化一个模型

面试指南

• STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)
• 先讲背景和目标，再讲具体技术方案和数据对比，最后总结学习收获
• 描述一次GPU性能优化的经历，你用了哪些技术手段？效果如何？
• 解释Flash Attention的原理及其对LLM推理的意义
• 如何优化一个Transformer模型的推理速度？请列出你的优化思路
• TensorRT-LLM和vLLM的主要区别是什么？你如何选择？
• 什么是KV Cache？在LLM推理中如何处理？
• 复习CUDA编程和GPU架构知识，准备好性能分析工具使用经验