中国平安
多模态大模型工程师
多模态大模型工程师
发布于 大约 14 小时前普通员工/个人贡献者
深圳市
中级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
NLP
PyTorch
计算机视觉
Megatron-LM
DeepSpeed
OCR
多模态大模型
CLIP
MLLM
AI 估算 · 15k–25k
多模态大模型为前沿技术，人才稀缺，平安作为金融科技巨头薪资有竞争力，但金融行业相对互联网略保守，月薪中位数2万，年终13薪。
职位详情
关于这个职位
该职位负责多模态大模型（MLLM）的全流程算法研发，包括预训练、微调、对齐等环节，并攻坚跨模态语义对齐、图文理解等技术难点
同时需跟踪前沿技术，结合业务场景（如文档智能解析、图表推理）推动模型落地
适合有3年以上多模态经验、熟悉大模型训练框架的资深算法工程师
最低要求
硕士及以上学历，计算机、人工智能、模式识别、计算机视觉、NLP相关专业
年及以上多模态大模型研发实战经验，完整深度参与过至少一款多模态理解模型从预训练、微调至业务落地全流程项目
精通多模态大模型底层原理，熟练掌握LLM预训练、增量训练、模态编码器设计、跨模态对齐、SFT微调、RLHF/DPO对齐全套技术
熟悉ViT、CLIP、Qwen-VL、LLaVA等主流多模态架构
具备文档智能研发经验，熟悉OCR、DocVQA、图表理解、长文本长文档推理优化技术栈
熟练使用PyTorch深度学习框架，掌握Megatron-LM、vLLM、DeepSpeed等大模型训练、分布式推理工具，具备完整的数据治理、数据构建、模型训练、部署优化工程能力
具备良好技术调研、方案论证、问题排查能力，善于拆解复杂技术难题，良好沟通协作与项目推进能力
工作职责
负责多模态大模型（MLLM）全流程算法研发，完成模型持续预训练、增量后训练、指令微调SFT、偏好对齐Alignment全链路工作
开展模型结构设计、模态融合方案设计、损失函数设计优化、训练策略迭代制定，提升模型综合能力
攻坚跨模态语义对齐、多模态特征融合、异构图文/图表/文档数据解析理解等核心技术难点，优化模型在跨模态检索、视觉问答VQA、Chart/DocVQA、图文理解、长文档逻辑推理、图文生成等任务效果
跟踪全球多模态大模型前沿技术演进，结合业务场景输出技术路线规划，主导模型迭代优化、技术难点攻关，沉淀可复用技术方案
深耕业务场景，探索多模态模型与智能体Agent融合落地，围绕文档智能解析、grounding，图表推理、专业内容问答、复杂逻辑推理搭建垂域应用方案，实现算法技术和业务深度融合
牵头多模态模型项目完整研发、迭代与落地交付，针对业务痛点定制模型优化方案，持续验证、复盘提升模型线上表现
优先资格
博士优先
有顶会论文、模型开源产出优先
了解多模态Agent应用搭建思路优先
AI 洞察
暂无 AI 洞察数据
匹配度报告
Watch Jobs