蚂蚁集团-多模态算法工程师-健康事业群

优缺点分析

角色解读

• 成为多模态算法领域的专家，主导核心算法研发
• 向技术管理方向发展，带领团队攻克技术难题
• 在蚂蚁集团内部跨部门发展，参与更多业务场景的AI落地
• 设计和实现多模态大模型，包括训练、后训练、表征学习，推动产品化落地
• 构建融合文本、图像、视频的检索增强生成系统，优化跨模态语义对齐与知识检索
• 开发基于多模态大模型的智能体，实现任务规划、意图识别、工具调用及多智能体协作
• 精通跨模态检索、图像/视频内容理解、检索增强生成
• 深入理解LLM/MLLM原理，熟悉大模型微调、对齐优化
• 扎实的Python编程能力，具备大模型应用和智能体开发经验

申请策略

• 了解蚂蚁集团在健康领域的AI应用，结合业务场景准备
• 关注公司技术博客，了解团队技术方向
• 突出多模态大模型相关项目经验，如训练、微调、对齐优化
• 强调检索增强生成、跨模态检索等具体技术成果
• 展示智能体开发经验，如任务规划、工具调用等
• 量化成果，如模型性能提升、业务指标改善
• 深入学习多模态大模型最新论文和开源项目
• 补充智能体开发框架，如LangChain、AutoGen

面试指南

• 回答时结合项目经验，突出技术难点和解决方案，展示对多模态大模型原理的深入理解
• 请介绍你参与的多模态大模型项目，具体负责哪些部分？
• 如何优化跨模态语义对齐？
• 如何设计一个检索增强生成系统？
• 如何实现多智能体协作？
• 如何评估多模态模型的生成质量？
• 复习多模态大模型基础，如CLIP、LLaVA等
• 准备项目案例，突出个人贡献和成果