中国平安
算法工程师（视觉方向）
算法工程师（视觉方向）
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公计算机视觉工程
计算机视觉工程
Ai Agent
Clip
Llm
Ocr
Pytorch
Rlhf
Sft微调
Vit
多模态大模型
值不值得投
78综合评分
综合评分 78
前沿多模态大模型算法岗，技术成长空间大、薪资竞争力强，但技术攻坚压力较高。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
2.5万
与计算机视觉工程中位数基本持平
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 13500 个在招
市场机会
选择适中
深圳 · 计算机视觉工程 · 47 个在招
职位详情
关于这个职位
该职位主要负责多模态大模型及传统机器视觉模型的全流程算法研发，攻坚跨模态语义对齐、特征融合等核心技术，并结合业务场景实现多模态模型与智能体Agent的融合落地
最低要求
硕士及以上学历，计算机、人工智能、模式识别、计算机视觉相关专业
年及以上多模态大模型研发实战经验，完整深度参与过至少一款多模态理解模型从预训练、微调至业务落地全流程项目
熟练使用PyTorch深度学习框架，精通传统机器视觉算法，包括OCR、识别、检测、分割等任务
精通多模态大模型底层原理，熟练掌握LLM预训练、增量训练、模态编码器设计、跨模态对齐、SFT微调、RLHF/DPO对齐全套技术
熟悉ViT、CLIP、Qwen-VL、LLaVA等主流多模态架构
熟练使用AI Agent工具，具备完整的数据治理、数据构建、模型训练、部署优化工程能力
具备良好技术调研、方案论证、问题排查能力，善于拆解复杂技术难题，良好沟通协作与项目推进能力
工作职责
负责多模态大模型以及传统机器视觉模型的全流程算法研发
攻坚跨模态语义对齐、多模态特征融合、异构图文/图表/文档数据解析理解等核心技术难点，优化模型在跨模态检索、视觉问答VQA、Chart/DocVQA、图文理解、长文档逻辑推理、图文生成等任务效果
跟踪全球多模态大模型前沿技术演进，结合业务场景输出技术路线规划，主导模型迭代优化、技术难点攻关，沉淀可复用技术方案
结合业务场景，完成多模态模型与智能体Agent融合落地，围绕文档智能解析、图表推理、专业内容问答、复杂逻辑推理搭建垂域应用方案，实现算法技术和业务深度融合
AI 洞察
优缺点分析
优点
- 处于多模态大模型和AI Agent这一当前AI领域最前沿、最具潜力的技术方向
- 依托丰富的金融、医疗等业务场景，算法落地机会多，能积累深厚的业务融合经验
- 平台大、资源充足，能够接触到海量异构数据和大规模算力资源
- 金融等垂直领域对模型的准确性、逻辑推理能力要求极高，技术攻坚难度大
- 适合具备扎实计算机视觉与大模型基础，有3年以上多模态模型全流程落地经验，且渴望在大型业务场景中实现技术价值的算法工程师
缺点 / 挑战
- 多模态大模型技术迭代极快，需要持续跟踪全球前沿技术，学习压力大
角色解读
- 纵向可发展为多模态大模型技术专家或首席科学家，引领前沿技术演进
- 横向可向AI业务架构师或技术管理岗转型，负责整体AI技术路线规划与团队管理
- 负责多模态大模型和传统机器视觉算法的全流程研发，包括预训练、微调和业务落地
- 攻坚跨模态语义对齐、特征融合等核心技术，优化VQA、图文理解等任务效果
- 将多模态模型与AI Agent结合，搭建文档解析、图表推理等垂域应用方案
- 精通多模态大模型底层原理及主流架构（如ViT、CLIP、Qwen-VL等），熟练掌握LLM预训练及微调技术
- 熟练使用PyTorch，精通OCR、检测、分割等传统机器视觉算法
- 具备AI Agent工具使用及数据治理、模型部署优化的工程落地能力
申请策略
- 了解平安集团在金融、医疗等领域的AI应用场景，准备针对性的技术落地思路
- 重点突出完整参与多模态理解模型从预训练、微调到业务落地的全流程项目经验
- 详细列出在跨模态对齐、VQA、图文理解等具体任务上的优化指标和成果
- 展示在AI Agent融合落地、数据治理及模型部署优化方面的工程能力
- 深入学习最新的多模态大模型架构（如Qwen-VL、LLaVA）及RLHF/DPO对齐技术
- 提升AI Agent开发能力，熟悉LangChain等框架及复杂逻辑推理链的构建
面试指南
- STAR法则：针对项目经验，按照情境、任务、行动、结果的框架，突出个人贡献和量化指标
- 技术深度+业务价值：在回答技术问题时，不仅讲透底层原理，还要结合业务场景说明技术选型的原因和最终带来的业务收益
- 请详细介绍你参与过的多模态大模型项目，从预训练到微调再到落地的全流程是如何设计的？
- 在跨模态语义对齐和特征融合中，你遇到过哪些核心技术难点？是如何解决的？
- 针对长文档逻辑推理或Chart/DocVQA任务，你采用了哪些策略来优化模型效果？
- 如何将多模态模型与AI Agent结合，搭建垂域应用方案？请举例说明
- 复习多模态大模型的核心论文（如CLIP, LLaVA, Qwen-VL等），掌握其架构细节和训练方法
- 准备1-2个自己主导的、具有技术挑战性和业务价值的完整项目案例，能够深入剖析技术细节
职位点评
薪资福利85
成长发展90
工作生活50
使命价值75
薪资福利
85较高
薪资25k以上，结合3年大模型算法经验及深圳地区市场行情，薪资具备较强竞争力，且背靠上市巨头，福利体系完善。
薪资信号偏高 (2.5千–2.5万/月)
成长发展
90较高
岗位聚焦多模态大模型与AI Agent等前沿技术，且要求跟踪全球技术演进，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈多模态大模型、PyTorch、OCR、LLM、ViT、CLIP、Qwen-VL、LLaVA、SFT、RLHF、DPO、AI Agent
成长机会跟踪全球多模态大模型前沿技术演进、输出技术路线规划
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与加班情况，但大模型算法研发通常面临较高的技术攻坚压力，工作强度可能较大。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
依托平安集团庞大的金融、医疗等民生相关业务，算法落地能产生较大的社会与商业价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs