低精度量化/模型压缩算法工程师

优缺点分析

角色解读

• 可以深耕模型压缩与量化方向，成为算法专家，负责更复杂的模型优化策略
• 可向推理引擎、AI芯片方向拓展，成为软硬件协同优化专家，参与芯片和编译器设计
• 有望成长为技术团队负责人，带领算法团队推动具身智能模型的高效部署和应用落地
• 研发大模型、多模态模型和具身智能模型的量化与压缩算法，包括GPTQ、AWQ、SmoothQuant等方案
• 将模型压缩技术落地到不同推理场景，与推理引擎和算子团队协作，确保精度和性能收益
• 针对机器人端侧硬件（如Jetson、NPU）进行极致的内存和功耗优化，实现高效部署
• 构建自动化量化工具链和精度评估体系，输出实验报告和性能对比，支撑业务规模化应用
• 精通深度学习模型结构和主流量化算法，如PTQ、QAT、GPTQ、AWQ、SmoothQuant等
• 熟练使用PyTorch，具备模型训练、微调和精度调试能力，了解GPU/NPU底层特性
• 熟悉模型压缩技术，如剪枝、蒸馏、稀疏化和低秩分解（LoRA/QLoRA）
• 了解推理引擎（TensorRT-LLM、vLLM、ONNX Runtime）和算子内核对齐的流程

申请策略

• 在简历中清晰区分是必须技能还是加分技能，尽量展现对量化工具链的自主搭建经验
• 了解智元机器人的产品方向（如人形机器人），在面试中能结合其业务场景提出部署优化思路
• 突出量化/压缩相关的项目经验，如使用GPTQ、AWQ等算法实现模型加速和体积缩减的具体案例和数据
• 强调对大模型结构（Transformer等）和训练调优能力的掌握，可附上相关代码库或开源贡献
• 展示与推理引擎协作的经验，如TensorRT-LLM或vLLM的集成、算子对齐、性能调优等
• 如有端侧部署经验（如Jetson、NPU），务必重点突出，这是加分项
• 补充学习FP8、NVFP4等新型量化格式的原理和工具方法，关注业界最新进展
• 熟悉至少一种推理引擎的源码和优化技巧，如vLLM的PagedAttention或TensorRT-LLM的量化流程

面试指南

• 对于算法原理问题，先阐述核心思路，再结合自己的项目经验说明实际应用和效果，最后谈一下局限性和改进方向
• 对于工程落地问题，从整体流程出发：需求分析、方案选型、实现细节、性能评估、迭代优化，突出对性能与精度平衡的把握
• 对于开放性问题，可先分点列举挑战，再提出解决方案，并强调自己是主动思考、系统性解决问题的工程师
• 请详细讲讲你使用GPTQ或AWQ的量化流程，如校准数据集的选择、权重处理、精度损失如何恢复？
• 如何在大模型推理中平衡量化的精度和速度？请说明你的评估方法和优化策略
• 在端侧设备（如Jetson）部署模型时，你会如何选择量化方案和推理引擎？为什么？
• 解释一下SmoothQuant的原理，以及它在哪些场景下更有效？
• 对于机器人具身智能模型，你认为模型压缩的主要挑战是什么？