机器学习推理部署工程师-福州

优缺点分析

角色解读

• 从推理部署工程师向编译器/系统架构方向深化，成为AI基础设施专家
• 可转向芯片软件栈全栈开发，或晋升为技术团队骨干/管理者
• 随着端侧AI和LLM需求增长，该方向人才稀缺，发展潜力大
• 参与深度学习编译器的计算图切分与优化，设计高效的执行方案
• 为Transformer、LLM等模型解决分布式推理和并行计算的核心问题
• 针对瑞芯微NPU架构，规划内存、调度算子并优化多核通信
• 从算法和系统层面分析性能瓶颈，提升端侧推理效率
• 精通Python和PyTorch，理解计算图执行机制，能够进行模型分析和优化
• 扎实的数据结构与算法功底，熟悉图遍历、搜索、约束传播等
• 对高性能计算、编译原理或推理引擎有深入了解，有性能调优经验
• 具备系统性问题分析能力，能够解决复杂技术挑战

申请策略

• 关注瑞芯微的产品线（如RK3588等），在面试中表现出对芯片架构的理解
• 可以准备一个关于模型部署端到端优化的案例，展示系统思维
• 突出与深度学习编译器、推理引擎相关的项目经验，如TensorRT、TVM或LLVM应用
• 强调PyTorch模型部署和性能调优的具体案例，附上量化或加速数据
• 展示对并行计算、内存优化、多核通信的理解，最好有分布式训练/推理经验
• 如果有NPU或嵌入式加速器开发经验，务必重点提及
• 提前了解TVM、MLIR等编译器框架，尝试阅读源码或参与小项目
• 熟悉Transformer模型的推理优化技术，如KV Cache、量化、剪枝等

面试指南

• 采用STAR法则：情境、任务、行动、结果，清晰展示问题解决过程
• 先明确目标（性能指标），再分析瓶颈（profiling），提出方案并验证，强调数据驱动
• 对于设计类问题，可以从约束条件出发，讨论trade-off，并给出合理选择
• 请解释Transformer模型在推理时的主要计算瓶颈是什么？你如何优化？
• 描述一下你解决过的一个性能问题，从发现问题到最终优化的完整流程
• 深度学习编译器中的计算图切分有哪些策略？如何平衡并行性和通信开销？
• PyTorch中模型推理时，如何减少内存占用和延迟？
• 你对NPU架构了解多少？如果让你为一个NPU设计算子调度，你会考虑哪些因素？