推理框架研发工程师-深圳/北京/上海

优缺点分析

角色解读

• 技术专家路线：深耕推理引擎和AI芯片优化，成为大模型基础设施领域的权威
• 架构师路线：主导大规模分布式推理系统的架构设计，影响公司级技术方向
• 技术管理路线：积累团队管理经验，带领优化团队支撑多个业务线的大模型部署
• 研发和优化大模型推理引擎，提升分布式推理系统的整体效率，处理大规模并发请求
• 设计并实现PD分离推理调度系统，平衡计算与通信资源，降低延迟
• 适配主流GPU和异构AI芯片，进行底层算子优化和性能调优，发挥硬件极致算力
• 参与开源推理框架（如vllm、sglang）的二次开发和定制，解决实际部署中的性能瓶颈
• 扎实的C/C++和Python编程能力，能够高效实现高性能系统模块
• 深入理解深度学习推理框架原理，熟悉vllm、tensorrt-llm等框架的部署和优化
• 掌握分布式并行策略（数据并行、流水线并行）以及GPU通信技术（NVLINK、RDMA）
• 具备GPU/NPU体系结构知识，能进行系统级性能分析和调优

申请策略

• 投递时可附上GitHub链接，展示推理优化相关的开源贡献或项目
• 关注腾讯AI平台部门的技术博客，了解团队技术栈和近期成果，在面试中展现兴趣
• 突出在大模型推理框架（vllm、tensorrt-llm等）的二次开发或部署优化经验，附上性能提升数据
• 强调并行策略和GPU通信优化项目，如使用NVLINK或RDMA提升多卡通信效率
• 展示对GPU/芯片架构的理解，例如在CUDA或OpenCL层面的算子优化案例
• 深入学习llama.cpp、vllm等开源框架的源码，理解其调度和内存管理机制
• 动手实践GPU性能分析工具（如Nsight Systems、ncu），提升调优能力

面试指南

• STAR法则：描述场景、任务、行动、结果，突出量化指标（如降低延迟30%）
• 从系统角度分层分析：应用层-框架层-驱动层-硬件层，展现全面思考
• 对比方案法：对同一问题提出多种优化思路，并分析各自适用场景
• 请详细描述你过去优化大模型推理延迟的具体案例，包括使用的方法和最终效果
• 在vllm中，PagedAttention的实现原理是什么？如何进一步优化显存利用？
• 如何设计一个PD分离的推理系统？请画出架构图并说明调度策略
• 在GPU上，矩阵乘法算子如何优化？简述tile和cooperative fetching策略
• NVLINK和PCIe在通信延迟和带宽上的差异？在多卡推理中如何选择？