多模态MLLM算法工程师

优缺点分析

角色解读

• 在技术深度上，可向多模态大模型专家方向发展，深入研究模型架构、训练优化和推理加速，成为该领域的核心技术骨干
• 在业务广度上，可向技术管理方向发展，负责整个质检算法团队，推动多模态技术在更多产线场景的落地
• 在行业前景上，多模态大模型在工业质检领域应用前景广阔，可积累丰富的行业经验，成为智能制造领域的稀缺人才
• 研发基于多模态大模型的质检算法，利用视觉-语言模型（如LLaVA、Qwen-VL）实现图文联合缺陷检测，输出缺陷类别、位置和严重程度
• 通过LoRA、QLoRA等高效微调技术，适配小样本数据，设计多模态融合模块，提升缺陷细粒度识别能力
• 持续跟进CVPR、ICML等顶会前沿论文，探索视觉-语言模型在质检中的可解释性、增量学习、RAG等方向，并转化为工程能力
• 与产线工艺团队协作，设计成像方案与数据采集策略，负责模型漂移监测、误检/漏检根因分析，并编写技术方案和部署运维手册
• 扎实的计算机视觉基础（目标检测、分割、异常检测）和多模态学习基础（CLIP、ALBEF、Flamingo等架构原理）
• 熟练使用Python，掌握PyTorch、OpenCV、HuggingFace Transformers等框架，熟悉Linux、Docker、Git、MLflow等工程化工具
• 熟悉至少一种主流多模态大模型（如LLaVA、Qwen-VL、InternVL）的架构与微调方法，具备多模态数据构建经验
• 具备优秀的逻辑思维、问题攻坚能力与跨团队沟通协作能力，自驱力强，能持续跟进前沿技术

申请策略

• 在申请时，可强调对宁德时代业务的理解，以及将前沿技术转化为工业应用的兴趣
• 关注宁德时代在AI领域的布局和投入，了解其技术方向，以便在面试中更有针对性
• 突出多模态大模型项目经验，特别是LLaVA、Qwen-VL等模型的应用和微调经历
• 强调计算机视觉基础，如目标检测、分割、异常检测等项目的成果
• 展示工程化能力，如Python、PyTorch、Docker、MLflow等工具的使用经验
• 如有顶会论文或视觉竞赛经历，务必突出，这是加分项
• 深入学习多模态大模型架构，如CLIP、LLaVA、Qwen-VL，并动手实践微调
• 熟悉LoRA、QLoRA等高效微调技术，并了解多模态融合模块的设计

面试指南

• 对于项目经验类问题，建议采用STAR法则（情境、任务、行动、结果）来组织回答，突出技术难点和解决方案
• 对于技术方案类问题，建议从问题定义、技术选型、实现细节、效果评估和优化方向五个方面进行阐述
• 对于前沿技术类问题，建议展示你对技术趋势的理解，并结合实际场景说明如何落地
• 请详细介绍一下你使用多模态大模型（如LLaVA、Qwen-VL）进行缺陷检测的项目经验，包括模型选择、微调过程和效果评估
• 如何设计一个多模态融合模块，将视觉特征与文本prompt深度融合，提升缺陷细粒度识别能力？
• 在少样本/零样本场景下，如何快速适配新缺陷类型？请谈谈你的思路
• 如何监测和解决线上模型的漂移问题？请结合你的经验谈谈
• 你如何跟进前沿技术（如CVPR、ICML论文）并将其转化为工程能力？