模型推理AI Infra开发工程师

优缺点分析

角色解读

• 技术深耕：成为AI Infra领域的专家，主导推理框架架构设计与性能调优
• 横向扩展：向具身机器人全栈技术发展，结合模型算法和硬件实现软硬协同创新
• 管理路线：未来带领团队负责AI推理引擎的研发，或转向系统架构师角色
• 设计和开发面向具身机器人的轻量化推理框架，支持CNN、Transformer等多种主流网络结构
• 针对GPU/NPU进行算子级性能优化，包括内存复用、算子融合、多流并行等加速策略
• 构建量化工具链，实现INT8/INT4/FP8等混合精度量化，并分析模型推理的时间、功耗和内存瓶颈
• 跟踪VLA、世界模型等前沿算法，探索KernelGen、投机推理等高效适配技术
• 精通C/C++/Python，具备丰富的CUDA/OpenCL/CANN编程经验
• 深入理解至少一种推理引擎（TensorRT、vLLM等）的内部架构和优化方法
• 熟悉模型量化原理与常见算法（KL散度、LSQ、AWQ等），并能独立实现量化工具链
• 掌握AI编译框架（MLIR、Triton、IREE等），了解算子调度与代码生成

申请策略

• 了解智元机器人的具体产品和路线，思考你的技能如何推动具身智能落地
• 准备一个技术分享，展示你在推理优化方面的深度思考，而非罗列技能
• 突出CUDA/OpenCL等并行编程项目，特别是性能提升数据（如延迟降低百分比）
• 详细描述参与过的推理引擎二次开发或优化经历，尤其是TensorRT或vLLM相关
• 展示量化工具链的实践经验，包括量化方法选择、精度与速度的权衡分析
• 如果有AI编译器（MLIR/Triton）使用经验，要重点提及
• 补充AI编译器知识，动手练习Triton编写自定义算子或MLIR dialect
• 加深对硬件架构的理解，比如NVIDIA GPU架构（Ampere、Hopper）的内存层次和计算单元

面试指南

• 结构化思考：先明确目标（延迟、吞吐、功耗），再分层面（算子、调度、内存）提出优化方案
• 量化问题：从原理（校准、KL散度）到实操（工具链选择），结合具体案例说明精度恢复方法
• 项目经验：使用STAR法则（情境-任务-行动-结果），强调个人贡献和可量化的成果
• 如何优化一个典型的Transformer模型在GPU上的推理延迟？请给出具体策略
• 解释INT8量化中的校准方法和精度损失原因，如何平衡速度与精度？
• 描述你过去使用TensorRT或类似工具的项目，遇到过什么困难？如何解决？
• 你对VLA（视觉-语言-行动）模型在机器人上的推理有什么优化思路？
• 复习GPU编程模型，熟悉PTX/SASS指令集和profiling工具（Nsight）