算法工程师-多模态检索/RAG

优缺点分析

角色解读

• 从多模态算法专家向大模型核心技术骨干发展，未来可晋升为算法团队Leader或首席科学家
• 在AIGC和多模态大模型爆发的背景下，技术壁垒高，职业发展前景与行业影响力广阔
• 负责多模态大模型的后训练技术研发，应用SFT、RLHF、DPO等范式提升模型效果与对齐能力
• 建设并优化多模态RAG核心模型，处理海量图文与视频的理解、对齐、向量表征与召回
• 支持跨模态检索与语义召回，将前沿算法直接赋能于核心业务场景，提升用户体验
• 具备扎实的深度学习基础，精通多模态内容理解与语义/向量检索技术
• 熟悉大模型后训练范式（SFT/RLHF/DPO/RLVR）及RAG系统架构
• 具备顶会论文发表能力或相关前沿算法的实际落地与调优经验

申请策略

• 提前了解阿里核心业务中多模态检索的应用场景，准备针对性的技术优化方案与思考
• 重点突出在多模态理解、向量检索或RAG系统方面的实际项目经验及核心指标提升
• 详细列出在CVPR/ACL/ICCV等顶会的论文发表情况、核心创新点或相关专利
• 展示对SFT、RLHF等大模型后训练技术的深刻理解与实操调优经验
• 深入学习多模态大模型的最新架构及对齐算法（如DPO, RLVR），跟进最新顶会进展
• 动手复现或优化一个开源的RAG系统，提升在海量数据下的向量召回与重排序能力

面试指南

• 采用STAR法则，重点突出在复杂多模态场景下遇到的技术瓶颈、提出的创新算法/架构，以及最终带来的业务指标提升
• 对于大模型训练问题，从数据质量、奖励模型设计、训练稳定性等维度进行系统性、结构化的回答
• 请详细介绍你在多模态RAG项目中如何优化向量表征与召回率的？
• 在应用RLHF或DPO进行大模型后训练时，遇到过哪些数据或奖励模型的问题，如何解决的？
• 针对海量图文/视频内容，你是如何设计多模态对齐策略的？
• 请分享一篇你发表的顶会论文的核心创新点及实验结果
• 复习多模态大模型、RAG、向量检索领域的最新顶会论文，确保对自己的论文细节和业界SOTA了如指掌
• 准备一个端到端的RAG系统核心代码片段或架构图，以便在面试中直观展示实操能力