平头哥-边缘AI芯片推理框架开发工程师-上海

优缺点分析

角色解读

• 成为AI推理优化领域的专家，深入掌握软硬件协同设计，向技术专家或架构师方向发展
• 可转向芯片软件栈的架构设计，或带领团队负责边缘AI产品的整体性能优化
• 有机会接触前沿大模型技术，未来可向AI系统研究员或技术管理职位发展
• 负责AI模型（包括LLM/VLM/VLA）在边缘芯片上的部署与推理优化，提升计算效率和推理速度
• 通过KV Cache管理、Inflight Batching等技术优化多模型部署和并发推理性能
• 适配并维护开源推理框架（TensorRT、vLLM等），解决实际部署中的功能、性能和精度问题
• 深入分析边缘AI软件栈性能瓶颈，提出软硬件协同加速方案
• 精通CUDA编程和并行计算，熟悉TensorRT/TensorRT-LLM模型部署与优化
• 熟练使用Python和C/C++，掌握PyTorch等深度学习框架，熟悉vLLM、SGlang等推理框架
• 理解AI芯片架构和边缘计算场景，具备系统性能分析和调优能力
• 具备跨团队协作和问题解决能力，责任感强

申请策略

• 了解平头哥的产品线和技术方向，在面试中展示对边缘AI场景的理解
• 准备一个完整的性能优化案例，展示发现问题、分析瓶颈、解决方案的闭环
• 突出在AI推理优化方面的项目经验，特别是使用TensorRT、CUDA进行加速的实际案例
• 强调对大模型部署的实践经验，如参与过LLM推理服务开发或优化
• 展示对底层硬件和系统性能的理解，如CPU/GPU/NPU架构分析
• 如有开源贡献或性能调优成果，可重点列出
• 深入掌握TensorRT-LLM和vLLM的源码级优化，熟悉KV Cache等机制
• 学习边缘AI芯片（如含光系列）的软件栈，了解NPU指令集

面试指南

• 对于技术题，先讲原理，再结合实践，给出量化结果
• 对于案例题，按照STAR法则（情境、任务、行动、结果）结构回答
• 对于系统设计题，从目标出发，分析瓶颈，提出方案并权衡取舍
• 解释一下TensorRT的模型优化流程，如何减少精度损失？
• 大模型部署时，如何处理KV Cache的内存管理？
• 在边缘设备上部署模型的瓶颈是什么？如何通过软硬件协同优化？
• 如何比较vLLM与SGlang的调度策略？
• 描述一次你优化推理性能的完整经历