算法优化工程师

优缺点分析

角色解读

• 深入端侧AI优化领域，成为模型压缩与推理加速专家
• 可向算法架构师或技术Leader发展，主导优化工具链设计
• 横向扩展至其他硬件平台（如ARM、NPU）或参与AI芯片设计合作
• 针对NVIDIA平台进行端侧推理引擎的算子适配与性能优化，降低内存占用和功耗，减少推理延迟
• 解决模型优化问题，设计并落地自研优化框架，在精度损失可控前提下提升推理速度
• 开发模型优化工具链与评测工具，保持业界领先水平
• 与算法团队协作，完成模型到端侧引擎的转换验证，从工程角度提供优化建议
• 深入理解主流推理引擎（TensorRT、TFLite、MNN等）的底层原理和二次开发能力
• 精通C++/Python，熟悉huggingface、PyTorch等框架，有模型微调与优化落地经验
• 掌握量化、剪枝、蒸馏等模型压缩技术，能使用torchao、transformer engine等工具
• 了解Transformer结构，有VLM/VLA等端侧部署经验，以及CUDA算子开发经验

申请策略

• 在面试中准备一个完整的端侧优化案例，从模型分析到引擎适配再到性能调优的完整故事
• 关注智元机器人产品方向，了解其机器人端侧AI的应用场景，展现对该领域的热情
• 突出在TensorRT、MNN等引擎上的二次开发或性能优化具体案例，附上量化指标（如延迟降低百分比、显存节省量）
• 展示模型压缩（量化、剪枝、蒸馏）的落地项目，包括精度损失和提速对比
• 强调CUDA算子开发经历，特别是量化算子的实现细节
• 提及VLM/VLA等端侧部署经验，说明遇到的挑战和解决方案
• 若缺少CUDA算子开发经验，可系统学习CUDA编程并实践量化算子（如INT8、FP8）
• 熟悉torchao、transformer engine等工具链的用法，尝试复现模型优化流程

面试指南

• 对于技术原理类问题，采用“原理+案例+量化结果”的结构：先说概念，再结合项目经验，最后用数据证明效果
• 对于开放性问题，从问题定义、现有方案、改进思路、验证方法四步走，体现系统思维
• 对于优化类问题，先明确约束条件（硬件、延迟、精度），然后按“分析瓶颈-提出方案-对比实验-迭代”流程回答
• 请解释TensorRT的层融合策略和显存优化机制，并举例如何针对具体模型进行调优
• 描述一个你使用量化技术的项目，如何处理精度损失并最终提升推理速度？
• 如果要在端侧部署一个VLM模型，你会从哪些方面考虑并优化？
• 你在CUDA算子开发中遇到过哪些性能瓶颈，如何分析和解决的？
• 如何评估一种新的模型压缩技术是否适用于你的端侧引擎？