宁德时代
多模态大模型算法工程师
多模态大模型算法工程师
发布于 大约 15 小时前普通员工/个人贡献者
宁德市
高级经验
全职员工
仅现场办公
硕士
计算机视觉工程
Llava
Lora
Opencv
Pytorch
Qlora
Qwen-Vl
多模态大模型
工业质检
视觉语言模型
AI 估算 · 30k–50k
职位详情
关于这个职位
该职位负责多模态大模型在工业视觉质检领域的核心算法研发与落地，包括模型微调、多模态融合、少样本缺陷检测等，并推动前沿技术转化为工程能力
你将与产线团队协作，解决实际工业场景中的质检难题，适合对AI落地有热情、技术扎实的算法工程师
最低要求
学历要求：计算机视觉、人工智能、自动化等相关专业硕士及以上学历
有高质量多模态质检项目经验的优秀本科生可放宽
专业技能要求：
基础理论：扎实的计算机视觉（目标检测、分割、异常检测）与多模态学习基础（CLIP、ALBEF、Flamingo 等架构原理）
编程与工具：熟练使用 Python
掌握 C++/CUDA 优先
熟悉 OpenCV、PyTorch、HuggingFace Transformers等框架
熟悉 Linux、Docker、Git、MLflow 等工程化工具
多模态大模型能力：熟悉至少一种主流多模态大模型（如 LLaVA、Qwen-VL、InternVL）的架构与微调方法
具备多模态数据构建经验
能够高效阅读英文学术论文，可独立复现前沿SOTA算法
有Kaggle、COCO等视觉竞赛经历或顶会论文发表经验者优先
综合素质要求：具备优秀的逻辑思维能力、问题攻坚能力与跨团队沟通协作能力，自驱力强，能够持续跟进计算机视觉前沿技术，主动完成技术迭代与能力提升
工作职责
多模态质检算法研发：①图文联合缺陷检测：利用视觉-语言模型（如 LLaVA、Qwen-VL）直接输出缺陷类别、位置及严重程度
②少样本 / 零样本缺陷适配：通过文本 prompt 定义新缺陷类型，无需大量标注样本即可快速部署新产线或新缺陷检测
③ 缺陷根因分析：基于多模态大模型的推理能力，结合图像和上下文文本（如工艺参数、操作记录），自动生成缺陷可能原因及改进建议
模型微调与多模态融合优化：采用 LoRA、QLoRA、Adapter 等高效微调技术，适配小样本质检数据
设计多模态融合模块（如跨注意力、特征对齐），将视觉特征与文本 prompt 深度融合，提升缺陷细粒度识别能力
前沿技术探索与落地：持续跟进CVPR、ICML、ECCV、ICCV等顶会前沿论文，探索视觉-语言模型在质检中的可解释性、增量学习、多模态检索增强（RAG）等前沿方向，并快速转化为工程能力
跨团队协作与问题攻坚：与产线工艺团队配合，设计成像方案与数据采集策略
负责线上模型漂移监测、误检/漏检根因分析
通过多模态 prompt 调优或主动学习快速迭代模型
编写技术方案、质检模型评估报告及部署运维手册
优先资格
有Kaggle、COCO等视觉竞赛经历或顶会论文发表经验者优先
AI 洞察
优缺点分析
优点
- 多模态大模型是当前AI热点，技术前沿，个人成长快
- 宁德时代作为新能源巨头，平台大，资源丰富，项目落地性强
- 工作涉及从研发到部署的全流程，能积累端到端经验
- 工业质检场景复杂，数据多样，模型泛化难度大
- 适合对AI技术有热情、喜欢解决实际问题、具备较强自驱力和抗压能力的算法工程师
缺点 / 挑战
- 薪资水平较高，福利待遇好
- 需要跨团队协作，沟通成本较高
- 技术迭代快，需要持续学习，工作压力可能较大
角色解读
- 从算法工程师向技术专家或技术负责人发展，主导核心算法方向
- 在工业AI领域深耕，成为多模态质检方向的专家，推动行业标准
- 有机会转向管理岗位，带领团队负责整个质检算法产品线
- 研发多模态大模型在工业质检中的应用，包括缺陷检测、少样本适配和根因分析
- 使用LoRA、QLoRA等技术微调视觉-语言模型，优化多模态融合模块
- 跟进前沿论文，探索可解释性、增量学习等方向，并转化为工程能力
- 与产线团队协作，设计成像方案，监测模型漂移，快速迭代模型
- 扎实的计算机视觉和多模态学习基础，熟悉CLIP、LLaVA等模型架构
- 熟练使用Python和PyTorch，掌握C++/CUDA优先，熟悉OpenCV、HuggingFace等工具
- 具备多模态数据构建和模型微调经验，熟悉LoRA、QLoRA等高效微调方法
- 良好的英文论文阅读和复现能力，有竞赛或顶会论文经验者优先
申请策略
- 了解宁德时代业务和工业质检需求，在面试中展现对行业的理解
- 准备一个完整的项目案例，展示从数据到部署的全流程能力
- 突出多模态大模型项目经验，特别是工业质检或相关落地案例
- 强调微调技术（LoRA、QLoRA）和模型部署经验
- 展示竞赛获奖或顶会论文，体现算法能力
- 强调Python、PyTorch等技能，以及工程化工具的使用
- 熟悉主流多模态模型（如LLaVA、Qwen-VL）的架构和微调方法
- 补充工业质检领域知识，了解常见缺陷类型和检测难点
面试指南
- 使用STAR法则回答项目经验：情境、任务、行动、结果
- 对于技术问题，先阐述原理，再结合项目经验说明应用
- 展示解决问题的思路：分析问题、提出方案、验证效果
- 请介绍一个你参与的多模态项目，如何设计模型和数据处理？
- 如何解决少样本缺陷检测问题？你会采用哪些技术？
- 如何评估多模态质检模型的性能？有哪些指标？
- 你如何跟进前沿技术并快速落地？请举例说明
- 在跨团队协作中，你如何处理与工艺团队的沟通问题？
职位点评
73
综合评分
前沿技术、高薪平台，但工作地点偏远，WLB不确定。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、对前沿AI有热情，且不介意工作地点的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活40
使命价值70
薪资福利
80较高
该职位薪资水平较高，福利待遇好，但具体薪资未在JD中明确，补偿性动机满足度较好。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
90较高
职位涉及前沿多模态大模型技术，有明确的成长路径和技术挑战，发展性动机满足度高。
技术前沿前沿/新兴技术
技术栈多模态大模型、视觉语言模型、LoRA、QLoRA、LLaVA、Qwen-VL
业务类型ambiguous
工作生活
40较低
工作地点在宁德，可能相对偏远，且未提及弹性工作，生活化动机满足度较低。
工作模式仅现场办公
办公地点工厂/生产基地
加班情况未提及（无法判断）
使命价值
70中等
工业质检有助于提升制造业效率，具有社会价值，但行业增长稳定，意义感动机中等。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs