多模态大模型研发与落地:负责工业视觉质检领域多模态大模型的构建、训练与优化,解决传统CV模型在复杂背景、小样本、零样本缺陷的识别率低的问题
研究并应用多模态融合技术(如图像+文本描述、图像+参数),提升模型对工业缺陷的语义理解与泛化性能,同时实现工业缺陷的自然语言描述生成和智能问答
搭建面向大模型的质检数据生产与清洗的pipeline,包括高质量图文对齐数据的构建、合成数据生成等,并设计模型效果评估体系,驱动算法的持续迭代与优化
针对工业场景的实时性与高精度要求,负责大模型的轻量化部署与推理加速(如量化、剪枝、蒸馏)
质检Agent智能体构建:负责设计并主导研发面向工业视觉质检场景的智能Agent,具备多模态理解能力,能够融合图像、文本(如工艺标准SOP)、传感数据等信息,实现对缺陷的自动化判定、描述、归因及溯源
构建面向质检场景的Agent工作流(Workflow),包括任务规划(模型自动择优等)、节点调用(训练任务的全流程、工具搭建业务流等等)、结果反馈
负责构建并维护质检领域的专业知识库(RAG),结合向量数据库技术,提升Agent在特定缺陷场景下的准确性和可解释性
大模型微调与优化:针对工业质检的小样本、长尾分布问题,设计并实施高效的大模型微调策略(如LoRA、P-Tuning等),提升模型在特定质检任务上的识别检出能力
持续跟进多模态大模型、AIGC、Agent等领域的最新前沿技术进展,并引领团队进行技术预研和创新,探索其在工业缺陷检测中的应用潜力