科大讯飞
【星火X计划】跨模态医学影像大模型研究(J13807)
【星火X计划】跨模态医学影像大模型研究(J13807)
发布于 大约 8 小时前普通员工/个人贡献者
广州市
中级经验
全职员工
仅现场办公
博士
机器学习工程
Ai Agent
Jax
Neurips
Pytorch
分布式训练
医学影像
多模态大模型
思维链
深度学习
AI 估算 · 25k–40k
博士顶尖AI研究岗，前沿方向，科大讯飞上市平台，薪资竞争力强，结合广州水平，估25-40K。
职位详情
关于这个职位
这是一个面向顶尖博士的医学影像大模型研究岗位，专注于跨模态医学影像AI核心技术的研发，包括数据对齐、降噪、思维链推理、长尾学习及影像诊断Agent构建
你将参与前沿课题攻关，推动AI在临床辅助诊疗中的落地，工作内容兼具科研深度与工程实践
如果你对医疗AI有热情，并希望在技术创新中创造社会价值，这个职位非常值得考虑
最低要求
-27届博士毕业生，人工智能、计算机科学、电子信息、自动化、模式识别、生物医学工程、医学影像工程、深度学习等相关专业，具备扎实的科研素养与医疗AI前沿研究视野
精通深度学习、大模型基础理论与多模态建模核心技术，具备1年以上多模态大模型研发经验、2年以上医学影像AI模型研发经验，熟悉主流医学影像数据特征与诊疗逻辑
熟练掌握大模型预训练、领域微调、偏好优化、强化学习等核心技术，能够独立完成医学影像多模态模型的问题定义、算法设计、数据治理、消融实验与规模化性能验证
具备扎实的工程实操能力，熟练使用PyTorch、JAX等主流深度学习框架，熟悉分布式训练、混合精度优化、显存调度、模型量化与推理部署
具备独立科研攻关、复杂问题拆解与技术迭代能力，能够自主攻克医学多模态建模、临床思维链设计、诊断Agent优化等核心技术难题
具备良好的跨团队协作能力，可协同临床、数据、算法、工程、产品团队完成模型迭代、临床验证与业务落地，抗压能力强，适配工业级前沿算法研发节奏
工作职责
【课题介绍】
本课题聚焦临床真实场景下医学影像多模态大模型核心技术研发，针对CT、MRI、DR等多类型医学影像数据，联合影像报告、病历体征等多维度信息，研究影像跨模态统一表征、临床推理、智能诊断与自适应泛化技术
当前通用多模态大模型存在影像领域知识缺失、影像特征捕捉不足、临床逻辑推理薄弱、场景泛化性差等问题，难以满足精准诊断、病灶筛查、预后评估等临床刚需
课题将围绕医学影像多模态数据对齐、降噪、影像思维链推理机制、长尾病灶自适应学习、影像诊断智能体构建四大核心方向开展系统性研究，突破通用大模型在医学影像领域的落地瓶颈，搭建集高质量数据构建、领域预训练、指令微调、临床推理优化、智能交互诊断于一体的医学影像多模态大模型技术体系，打造具备专业影像认知、精准病灶分析、可解释推理能力的影像专属大模型，支撑各类临床辅助诊疗、医学科研、智能阅片等核心业务场景落地
【课题挑战】
数据噪声清洗及诊断一致性难题：医学影像不同医师的标注标准、病灶判定尺度等存在显著个体差异，导致标注数据存在标注冲突、边界不统一等问题，严重影响模型预训练精度与临床泛化能力，亟需构建影像专属的数据降噪、标注一致性校准与质量管控体系
跨模态特征对齐与临床知识融合难题：影像视觉特征、报告文本语义特征、临床知识等属于异构多模态数据，存在特征空间不统一、信息密度差异大、关联耦合复杂等问题
需要精准捕捉影像细微病灶特征与临床文本、专业知识的深层关联，提升模型精准诊断能力
长尾样本与罕见病泛化难题：影像疾病诊断呈现严重的长尾分布，常见病、多发病数据样本量大，罕见病、疑难病样本稀缺
模型易出现常见病过拟合、长尾疾病诊断精度大幅下降的问题，难以满足全病种、全场景的临床诊断需求
医学影像专属思维链设计难题：通用大模型思维链缺乏影像诊断层级化推理逻辑与专业知识体系，无法复刻医师“发现异常-分析异常-结合临床-做出诊断”的完整诊疗流程
难以输出符合临床规范的诊断依据与结论，亟需设计适配多模态影像输入、贴合临床诊疗范式的层级化、可解释医学思维链推理架构
影像诊断Agent自主推理难题：传统影像AI模型多为单任务、固定范式输出，不具备自主感知、动态推理、多任务联动与交互式诊断能力
面向临床场景，亟需构建专业化影像诊断Agent，解决多模态影像动态解析、影像专属工具智能调用、病史与影像联合推理、自适应诊断决策等核心问题，实现从“被动识别”到“主动诊疗推理”的技术升级
优先资格
有医疗多模态模型、影像诊断模型落地经验者优先
有医学模型工程化落地、流式推理优化经验者优先
在NeurIPS、ICML、ICLR、CVPR、MICCAI等相关顶会发表论文，或有高质量开源项目、医疗AI落地成果者优先
AI 洞察
优缺点分析
优点
- 技术前沿性强，涉及多模态大模型、医学AI等热门方向，接触顶尖课题和资源
- 社会价值显著，研究成果可直接应用于临床，改善医疗资源不均问题
- 有“星火X计划”加持，可能获得高关注度和职业发展绿色通道
- 医学影像属于交叉学科，需要与临床、工程等团队紧密协作，对沟通和适应能力要求高
- 工作节奏可能较快，需要适应工业级研发的强度，并持续跟踪前沿技术迭代
缺点 / 挑战
- 科大讯飞平台大，已上市，有完善的研发体系和行业影响力，稳定性较高
- 课题难度大，需要攻克数据噪声、长尾分布、思维链设计等核心技术难题，科研压力较大
- 适合具有扎实科研背景、对医疗AI有强烈兴趣、能承受较高技术挑战且追求社会价值的博士毕业生
角色解读
- 可从研究员成长为医疗AI领域的技术专家，主导核心算法方向
- 有机会在顶尖学术会议发表成果，提升学术影响力，或向技术管理岗发展
- 随着医疗AI行业高速增长，可成为跨学科领军人才，参与制定行业标准
- 研究医学影像多模态大模型核心技术，包括数据对齐、降噪、特征融合等，解决模型在影像领域的知识缺失问题
- 设计医学影像专属思维链推理机制，复刻医师诊疗流程，提升模型的可解释性和临床实用性
- 开发长尾病灶自适应学习算法，提升罕见病和疑难病的诊断准确率，覆盖全病种场景
- 构建影像诊断Agent，实现多模态动态解析、工具调用和交互式诊断，推动AI从被动识别到主动推理
- 精通深度学习和大模型理论，掌握预训练、微调、偏好优化、强化学习等核心技术
- 熟练使用PyTorch、JAX等框架，具备分布式训练、模型量化与推理部署经验
- 熟悉医学影像数据特征和多模态建模，能独立完成算法设计、数据治理和实验验证
- 具备科研攻关能力，能拆解复杂问题，并在跨团队协作中推动技术落地
申请策略
- 准备一份展示研究深度和工程实践的作品集，可附上代码仓库或论文链接
- 了解科大讯飞在医疗AI领域的布局，在面试中展现对业务场景的理解
- 突出多模态大模型或医学影像AI相关的项目经验，详细描述你的算法设计、实验过程和成果
- 强调论文发表、开源项目或落地应用，尤其是顶会论文或医疗影像的实战项目
- 展示扎实的工程能力，如分布式训练、推理优化经验，用具体的数据或案例说明
- 如有临床合作经历，务必突出跨学科协作能力
- 巩固大模型相关技能，如LoRA、RLHF、多模态对齐技术，补充医学影像知识
- 熟悉PyTorch/JAX的高阶用法，练习混合精度训练和模型部署
面试指南
- 用STAR法则（情境-任务-行动-结果）回答项目经历，突出你的技术选择和量化效果
- 对于设计类问题，先明确目标，再拆解成数据、模型、训练、评估等环节，给出逻辑清晰的方案
- 谈论可解释性时，结合具体技术如思维链、注意力可视化，并说明临床价值
- 请讲述一个你在医学影像或多模态模型项目中遇到的技术难点，如何解决？
- 如何设计医学影像数据的降噪和一致性校准流程？
- 你如何看待大规模模型在医疗场景中的可解释性挑战？
- 如果给你一个罕见病影像诊断任务，你会如何利用大模型技术实现？
- 如何评估并改进长尾分布下的模型性能？
职位点评
76
综合评分
顶尖医疗AI研究岗，前沿技术+高社会价值，薪资有竞争力但未明确，WLB未知。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
更适合这类人
最看重社会价值和前沿技术、追求科研成就感的博士求职者，能接受可能的快节奏和高强度。
表现最好
使命价值
相对薄弱
工作生活
薪资福利70
成长发展85
工作生活60
使命价值90
薪资福利
70中等
该职位为上市公司核心AI研究岗，薪资应有竞争力，但JD未明确具体薪酬和福利，属于隐性优势。
薪资信号未披露（AI估算：25K-40K/月）
成长发展
85较高
前沿技术方向，顶尖人才计划加持，提供高质量的平台和科研资源，成长空间大。
技术前沿前沿/新兴技术
技术栈多模态大模型、医学影像、深度学习、PyTorch、JAX、分布式训练、思维链、Agent
业务类型ambiguous
工作生活
60中等
工作地点在广州，要求现场办公，JD未提及工作强度或弹性安排，可能以项目为导向，节奏较快。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
90较高
医疗AI直接改善疾病诊疗，推动医疗资源均衡，社会价值显著，行业前景广阔。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号提升全国影像诊断同质化水平、降低诊疗误差、民生普惠、医疗资源均衡化
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs