推理服务研发工程师

优缺点分析

角色解读

• 可向大模型推理架构师方向发展，负责整体推理系统设计
• 可转向AI编译器或芯片软件栈开发，深入底层技术
• 可晋升为技术专家或团队负责人，带领团队进行技术攻关
• 负责大模型推理引擎的工程化与性能优化，包括PD分离、KVCache缓存、投机解码等核心技术
• 设计并实现分层KVCache管理系统，研发智能淘汰策略与预取机制，提升缓存命中率
• 开发高性能推理引擎，涵盖Continuous Batching、动态Batch Size调整、混合精度推理、多种并行策略
• 针对不同硬件平台（NVIDIA GPU、华为昇腾NPU、国产加速卡）进行算子适配与性能调优
• 精通C++和CUDA编程，深入理解GPU硬件架构（SM、Warp调度、内存层次、TensorCore）
• 深入理解Transformer架构的推理计算流程，熟悉vLLM、SGLang、TensorRT-LLM、TGI等框架
• 掌握KVCache优化（PagedAttention/RadixAttention）、FlashAttention、量化推理（GPTQ/AWQ/SmoothQuant）等关键技术
• 具备性能分析与优化能力，熟悉Nsight Systems/Nsight Compute/PyTorch Profiler等工具

申请策略

• 关注宁德时代在AI基础设施方面的布局，了解其业务场景
• 在面试中展示对性能优化的热情和实际案例
• 突出大模型推理引擎或高性能计算相关项目经验，尤其是使用vLLM、TensorRT-LLM等框架的优化实践
• 强调CUDA编程和Kernel开发能力，展示性能优化成果（如延迟降低、吞吐提升）
• 如有开源贡献（如vLLM、SGLang）或国产芯片适配经验，务必突出
• 量化性能分析工具的使用经验，如Nsight Systems、PyTorch Profiler
• 深入学习vLLM、SGLang等框架源码，理解其调度和缓存机制
• 熟悉国产AI芯片（如昇腾）的编程模型和优化方法

面试指南

• 使用STAR法则：情境、任务、行动、结果，清晰描述项目经历
• 从原理到实践：先解释技术原理，再结合具体案例说明应用和效果
• 强调数据：用具体数字（如延迟降低百分比、吞吐提升）证明成果
• 请详细描述你在vLLM或类似框架中做的性能优化工作，具体解决了什么问题？
• 如何设计一个高效的KVCache管理策略？请谈谈你的思路
• 解释FlashAttention的原理，以及它如何提升推理性能？
• 如何针对特定硬件（如昇腾）进行算子适配？
• 如何评估推理服务的性能？你会关注哪些指标？