大模型推理引擎研发工程师（深圳/北京/上海/杭州）

优缺点分析

角色解读

• 技术深耕：成为大模型推理系统架构师，主导核心引擎设计
• 横向拓展：转向AI基础设施、云原生推理平台等方向
• 技术管理：晋升为技术负责人或团队leader，带领研发团队
• 研发和优化大模型推理引擎，包括推理框架的底层实现和性能调优
• 设计并实现PD分离推理调度系统，提升推理效率
• 支持主流GPU和异构AI芯片，编写高效的CUDA/OpenCL/Ascend C代码
• 精通C/C++和Python，具备扎实的编程和调试能力
• 深入理解GPU体系结构，熟练使用CUDA等编程模型进行kernel优化
• 熟悉vllm、sglang等主流推理框架，了解其内部原理
• 掌握模型并行、流水线并行等分布式策略，了解GPU通信技术

申请策略

• 准备一个完整的推理引擎优化案例，从问题分析到方案实施再到效果量化
• 关注腾讯AI Lab和云智团队的博客和技术分享，了解其技术栈和方向
• 突出大模型推理或训练相关的优化项目经验，尤其是性能提升数据
• 展示GPU编程能力，如CUDA kernel优化、算子融合等
• 强调对开源推理框架的贡献或深入理解，如vllm、tensorrt-llm
• 提及分布式训练/推理的实践经验，包括模型并行、流水线并行等
• 深入学习CUDA优化技巧，如shared memory使用、warp级编程
• 阅读并理解vllm、sglang等框架的核心源码

面试指南

• 先阐述核心原理，再结合具体项目经验，最后给出量化的效果
• 采用STAR法则：背景（Situation）、任务（Task）、行动（Action）、结果（Result）
• 对于设计类问题，先明确需求边界，再给出方案架构和关键组件，最后讨论权衡
• 请介绍vllm或sglang的架构，并说明其关键优化点
• 如何优化大模型推理的端到端延迟？请给出具体方案
• 描述一次你使用CUDA进行kernel优化的经历，包括遇到的问题和解决思路
• 模型并行和流水线并行有什么区别？在分布式推理中如何选择？
• 如何理解PD分离？请设计一个简单的调度系统