蚂蚁集团-医疗多模态大模型基模-健康事业群

优缺点分析

角色解读

• 从算法工程师成长为技术专家，深入多模态大模型核心研发
• 可转向医疗AI产品架构或技术管理方向，带领团队推进项目
• 医疗大模型是热门方向，创业或跳槽都有广阔空间
• 负责医疗影像多模态基础模型的预训练，设计高效训练策略和模型架构
• 通过指令微调、RLHF/DPO等后训练技术，让模型具备影像问答、报告解读、病理诊断等能力
• 建设高质量训练数据流，应用数据清洗、合成、蒸馏技术
• 跟踪多模态大模型前沿进展，并将其落地到医疗项目
• 扎实的机器学习基础，掌握深度学习、强化学习
• 熟练Python，精通PyTorch等深度学习框架
• 有大规模数据处理经验，熟悉数据清洗、合成、蒸馏
• 了解或实践过大模型预训练/后训练，有开源项目或顶会论文更好

申请策略

• 表现出对医疗AI的兴趣和理解，了解蚂蚁集团在医疗健康领域的布局
• 准备好展示你对大模型前沿的追踪和思考，比如对当前技术痛点的见解
• 突出你在大模型预训练/微调方面的实际项目经验，明确说明你在其中承担的角色和优化效果
• 强调数据处理能力：数据清洗、合成数据或蒸馏的成功案例
• 展示编程和框架熟练度：Python、PyTorch等，若有开源贡献或论文请附上
• 如果有医疗影像相关经历，务必重点写
• 强化多模态模型知识，阅读最新的LLaVA、Qwen-VL等论文并尝试复现
• 动手实践SFT、LoRA、RLHF/DPO等技术，了解全流程

面试指南

• 从问题定义、方案设计、实验对比到结果分析，结构化回答
• 强调结合具体场景，说明你的技术选型依据和权衡
• 展示对数据与模型关系的理解，提出数据影响模型表现的思路
• 你如何设计医疗影像多模态模型的预训练任务？
• 在指令微调中，如何解决数据质量和数量的问题？
• 请谈谈你对RLHF和DPO的理解及适用场景
• 如何处理医疗数据中的隐私和噪声？
• 描述一个你处理大规模数据集的案例，遇到哪些困难？