阿里巴巴
研究型实习生-多模态大模型算法工程师
研究型实习生-多模态大模型算法工程师
发布于 1 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Jax
Llm
Pytorch
分布式训练
多模态大模型
自然语言处理
计算机视觉
值不值得投
79综合评分
综合评分 79
顶尖算力与数据加持的医疗AI前沿研究实习，技术成长与社会价值拉满，适合学术与工程能力双强的硕博人才。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
1.2万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3390 个在招 · 其中人工智能 约 350 个
市场机会
选择面较广
杭州 · 人工智能 · 约 420 个在招
职位详情
关于这个职位
该职位是阿里巴巴达摩院医疗AI团队的研究型实习生，主要负责多模态医疗大模型的前沿研究与应用落地
你将参与医学影像与文本的跨模态学习、视觉-语言模型构建及推理型模型研发，利用海量临床数据和充足算力资源，探索AI在医疗健康领域的创新应用
最低要求
海内外知名高校在读博士、硕士（优秀本科生亦可）
在人工智能/计算机视觉/自然语言处理/多模态学习相关领域具备扎实的理论与实践基础
熟练掌握 Python 及主流深度学习框架（PyTorch、JAX等）
熟悉多模态模型架构（如 Vision-Language Models、Transformer 系列、LLM、CLIP、BLIP 等）或大型模型的训练与微调方法
在多模态医疗AI、视觉‑语言模型、医疗大模型等方向以第一作者发表过顶会/顶刊论文（ICCV、CVPR、ECCV、NeurIPS、ICML、ICLR、TPAMI、MICCAI、IPMI、TMI、MedIA 等）
有医疗AI领域大模型应用（诊断、三维可视化、自动报告生成、多语言医学对话等）项目经验
有超大规模模型训练、分布式训练、模型压缩/加速经验
具备良好的独立科研能力、批判性思维和问题分析能力，对探索未知和解决医学实际问题充满兴趣
工作职责
参与多模态医疗大模型的架构设计、训练与优化
负责医学影像（CT/MRI/超声、病理切片等）与医学文本（病历、检验报告等）的跨模态表示学习，多模态对齐，知识图谱增强
研发医疗领域的视觉‑语言模型（VLM）、医学版GPT及多模态融合方法
构建面向诊断与治疗决策的推理型模型和知识增强大模型
探索少样本/零样本医疗任务泛化、可解释性与可信AI技术
AI 洞察
优缺点分析
优点
- 依托顶尖算力与海量高质量临床数据，能接触行业最前沿的大模型训练场景
- 与顶级医院和医学专家深度合作，研究成果易在Nature子刊、CVPR等顶会顶刊发表，学术与工业价值双丰收
- 医疗AI是极具社会价值且处于爆发期的赛道，个人履历含金量极高
- 医疗数据具有高度专业性和复杂性，跨模态对齐与知识图谱增强的技术难度极大
- 对学术产出要求高，需在繁重的工程训练与科研论文撰写之间保持平衡
- 适合具备扎实AI理论基础、有顶会论文发表经验，且对医疗AI交叉领域充满热情的在读硕博研究生
缺点 / 挑战
暂无明显挑战项
角色解读
- 纵向可成长为医疗AI领域的资深算法专家或首席科学家，主导核心模型架构演进
- 横向可拓展至医疗大模型产品化、商业化落地负责人，连接前沿技术与临床实际需求
- 负责多模态医疗大模型的架构设计与训练优化，处理医学影像与文本的跨模态对齐
- 研发视觉-语言模型及医学版GPT，构建面向诊断与治疗决策的推理型模型
- 探索少样本/零样本医疗任务泛化及可解释性AI，推动前沿技术在医疗场景的落地
- 扎实的AI/CV/NLP理论基础，熟练掌握Python及PyTorch/JAX等深度学习框架
- 熟悉Transformer、LLM、CLIP等多模态模型架构及大模型训练微调方法
- 具备顶会/顶刊论文发表经验，有医疗AI大模型应用及超大规模分布式训练实战经验
申请策略
- 提前了解达摩院医疗AI团队近期的研究成果和发表的论文，在面试中展现对团队研究方向的深刻理解
- 准备好对过往研究工作的批判性思考，面试官可能会深入探讨模型设计的底层逻辑与局限性
- 重点突出在多模态、VLM或医疗AI方向的顶会/顶刊一作论文，附上论文链接或GitHub代码库
- 详细描述参与过的超大规模模型训练、分布式训练或模型压缩项目，强调解决的工程难题与性能提升指标
- 展现对医疗场景的理解，如有医疗AI大模型应用（如自动报告生成、医学对话）项目经验需重点着墨
- 深入学习最新的多模态大模型架构（如LLaVA、Med-PaLM等）及医疗领域知识图谱构建方法
- 提升分布式训练框架（如Megatron-LM、DeepSpeed）的实操能力，熟悉大模型微调与加速技术
面试指南
- 论文/项目类问题：采用 STAR 法则（情境、任务、行动、结果），重点突出“我”的贡献、技术难点及量化收益
- 技术原理类问题：先阐述核心概念与数学直觉，再结合具体模型架构（如Transformer注意力机制）进行剖析，最后联系实际应用场景
- 请详细介绍你发表的一篇多模态/医疗AI顶会论文的核心创新点，以及相比基线模型的优势
- 在医学影像与文本的跨模态表示学习中，如何解决模态间语义不对齐的问题？
- 在进行超大规模模型分布式训练时，遇到过哪些显存或通信瓶颈？你是如何解决的？
- 针对医疗场景的少样本/零样本泛化问题，你认为目前大模型面临的最大挑战是什么？
- 复习多模态大模型、VLM、LLM的核心论文（如CLIP, BLIP, LLaVA等），掌握其架构细节与训练策略
- 梳理自己过往项目中的分布式训练、模型加速经验，准备好应对底层工程实现的深度拷问
职位点评
薪资福利75
成长发展95
工作生活50
使命价值90
薪资福利
75中等
作为研究型算法实习生，岗位技术门槛高，实习津贴在同类岗位中处于中上水平，能较好满足实习期间的经济需求。
薪资信号未披露（AI估算：8千–1.5万/月）
成长发展
95较高
依托顶尖算力、海量数据与顶级医院合作，能产出顶会顶刊成果，技术成长与学术发展天花板极高。
技术前沿前沿/新兴技术
技术栈多模态大模型、Vision-Language Models、Transformer、LLM、CLIP、BLIP、PyTorch、JAX、分布式训练
成长机会在顶级会议与期刊的高影响力成果、与国内外顶级医院、知名医学专家的长期科研合作
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与工时安排，但研究型算法岗通常面临较高的科研与工程压力，WLB情况无法明确判断。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
90较高
致力于构建通用智能系统以解决医学实际问题，将AI与医疗健康结合，具有极高的社会价值与使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号解决医学实际问题、面向未来的研究机会、构建能够理解和推理不同医疗模态信息的通用智能系统
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs