科大讯飞
【星火X计划-实习】原生多模态通用大模型算法研究(J14619)
【星火X计划-实习】原生多模态通用大模型算法研究(J14619)
发布于 2 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Deepspeed
Megatron-Lm
Pytorch
分布式训练
多模态大模型
深度学习
计算机视觉
值不值得投
75综合评分
综合评分 75
前沿多模态大模型算法实习岗，技术含金量极高、成长空间巨大，但薪资常规且工作强度可能较大。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
5千
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招 · 其中机器学习工程 31 个
市场机会
选择适中
合肥 · 机器学习工程 · 49 个在招
职位详情
关于这个职位
该职位是科大讯飞星火X计划的实习岗，主要参与原生多模态通用大模型的核心算法研究
你将围绕多模态模型架构、数据治理、预训练对齐、理解推理及评测等方向开展系统性研究，解决图文语义对齐、视觉信息压缩、多模态幻觉等技术瓶颈
适合对大模型和多模态技术有浓厚兴趣、具备扎实算法基础的在读硕博生
最低要求
届及以后在读硕士及以上学历，人工智能、计算机科学与技术、计算机视觉、电子信息、自动化、应用数学等相关专业，其他专业但具备突出研究和动手能力者同样欢迎
具备扎实的机器学习、深度学习和大模型基础，熟悉 Transformer、Vision Transformer、视觉语言模型等基本架构，了解多模态模型的主要训练流程与技术范式
熟练掌握 Python，具备良好的 C/C++ 编程能力，熟悉 PyTorch 框架
熟悉多模态模型相关技术，包括但不限于视觉编码器、模态连接器、图文对比学习、多模态位置编码、动态分辨率、视觉指令微调、多模态偏好对齐及强化学习等
具备良好的沟通协作能力，能够与数据、预训练、工程、推理及业务团队协同完成算法落地、模型迭代和应用适配
具有较强的责任心、执行力和复杂问题解决能力
工作职责
原生多模态模型架构研究：研究高效视觉与音频编码器、模态连接机制、统一自注意力架构、多模态位置编码、动态分辨率建模及统一理解生成架构，构建兼顾模型能力、训练效率和推理成本的原生多模态模型架构
多模态数据构建与智能治理：研究多模态数据过滤、去重、语义匹配、质量评估、知识增强、难例挖掘及合成数据生成方法，建设覆盖图文对、交错图文、视频文本、文档图表及多轮视觉对话等数据形态的自动化治理体系
多模态预训练与模态均衡：研究统一多模态预训练目标、任务采样、课程学习、梯度平衡及损失归一化方法，合理设计词元级、样本级和任务级权重，解决长短样本、不同模态及不同任务之间的训练失衡问题
多模态理解、推理与幻觉抑制：研究细粒度视觉表征、目标定位与指代消解、空间和时序建模、证据约束推理、视觉思维链及事实一致性校验方法，提升模型基于视觉证据进行复杂推理的能力，降低多模态幻觉
多模态能力评测与迭代闭环：建设覆盖通用视觉理解、OCR、文档与图表解析、空间关系、视觉定位、视频理解、复杂推理、内容生成及多模态智能体等方向的综合评测体系，支撑多模态数据、模型架构和训练算法持续迭代
优先资格
具有 Transformers、Megatron-LM、DeepSpeed、Colossal-AI 等框架使用或二次开发经验者优先
具有相关科研或项目经历者优先
具有多模态数据构建与治理经验，熟悉图文数据过滤、去重、质量评估、数据合成、任务配比或动态采样等方法者优先
在 NeurIPS、ICLR、ICML、CVPR、ICCV、ECCV等顶级会议或相关高水平期刊发表过多模态学习、计算机视觉、自然语言处理或大模型相关论文者优先
AI 洞察
优缺点分析
优点
- 依托星火大模型的庞大算力资源和丰富业务场景，具备实现工业级落地和产出顶会论文的优越条件
- 作为顶尖AI人才计划实习生，有明确的转正通道和顶尖导师指导，职业发展起点高
- 适合对大模型和多模态技术有强烈热情、具备扎实算法基础且有志于在AI前沿领域深耕的在读硕博生
缺点 / 挑战
- 处于AI大模型和多模态技术的最前沿，能够接触并解决行业核心技术瓶颈，技术含金量极高
- 多模态大模型研发涉及海量数据处理和大规模分布式训练，对工程落地能力和算力调度经验要求较高
- 技术迭代极快，需要持续阅读最新顶会论文并快速复现，工作节奏快，面临较大的科研与落地双重压力
角色解读
- 实习表现优异者有机会获得转正机会，成为星火大模型团队的核心算法工程师
- 在通用多模态大模型这一前沿领域积累深厚的技术壁垒，未来可向多模态算法专家、大模型架构师或AI研究员方向发展
- 依托公司丰富的算力资源和业务场景，产出高水平学术论文或实现工业级落地，提升个人在AI领域的学术与行业影响力
- 参与原生多模态通用大模型的核心算法研究，解决图文语义对齐、视觉信息压缩、多模态幻觉等技术瓶颈
- 负责多模态数据构建与智能治理，优化预训练目标与任务采样，提升模型在视觉理解、推理和生成方面的能力
- 搭建多模态能力评测体系，通过错误归因和模型行为分析，推动数据、架构和训练算法的持续迭代
- 扎实的机器学习与深度学习基础，熟练掌握Python和PyTorch，熟悉Transformer及视觉语言模型架构
- 了解多模态模型训练范式，包括视觉编码器、模态连接、对比学习、指令微调及偏好对齐等技术
- 具备较强的编程与工程能力，熟悉C/C++，有大规模分布式训练框架使用经验者更佳
申请策略
- 提前了解星火大模型的最新进展和多模态能力，在面试中展现对公司技术路线的理解和思考
- 准备好过往项目中的技术难点和解决方案，特别是如何平衡模型能力、训练效率和推理成本的实际经验
- 重点突出在多模态、计算机视觉或NLP领域的科研项目经历，特别是涉及模型架构设计、预训练或对齐算法的实践
- 详细列出使用PyTorch、Megatron-LM、DeepSpeed等框架进行大规模分布式训练或二次开发的工程经验
- 明确展示在NeurIPS、CVPR等顶级会议或期刊发表的论文，或参与开源多模态大模型项目的贡献
- 深入学习多模态大模型的最新架构（如原生多模态架构、动态分辨率建模）及训练范式（如RLHF、DPO）
- 提升大规模分布式训练的工程能力，熟悉数据并行、模型并行及流水线并行的底层原理与框架使用
面试指南
- STAR法则：针对项目经验问题，按照情境、任务、行动、结果的结构清晰阐述，突出个人贡献和量化成果
- 原理+实践+优化：针对技术原理问题，先准确阐述理论机制，再结合代码实践说明实现细节，最后补充在实际场景中遇到的瓶颈及优化方案
- 请详细介绍你过往参与的多模态或大模型项目，你在其中解决了什么核心技术问题？
- 在多模态预训练中，如何解决不同模态和任务之间的训练失衡问题？你了解哪些梯度平衡或损失归一化方法？
- 针对多模态幻觉问题，你认为产生的原因是什么？有哪些有效的抑制或校验方法？
- 请谈谈你对原生多模态模型架构的理解，它与传统架构相比有什么优势？
- 在使用DeepSpeed或Megatron-LM进行分布式训练时，你遇到过哪些显存或通信瓶颈？是如何优化的？
- 复习多模态大模型的核心论文，深入理解其架构设计、训练流程和数据构建方法
职位点评
薪资福利60
成长发展95
工作生活50
使命价值85
薪资福利
60中等
实习岗位薪资按日薪折算，处于市场常规水平，主要价值在于技术成长而非短期高薪。
薪资信号未披露（AI估算：4.35–6.53千/月）
成长发展
95较高
聚焦原生多模态大模型核心算法，技术栈极其前沿，且有顶会论文产出和转正机会，发展性动机得到极大满足。
技术前沿前沿/新兴技术
技术栈Transformer、Vision Transformer、PyTorch、Megatron-LM、DeepSpeed、多模态大模型、RLHF
成长机会星火X顶尖AI人才计划
业务类型profit_center
工作生活
50较低
实习岗位未明确说明工作模式和工时，大模型研发通常工作强度较大，WLB情况无法判断。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与通用多模态基座模型研发，推动AI技术演进，具有较高的技术使命感和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号提升公司在通用多模态模型领域的技术影响力、支撑下一代多模态基座模型持续演进
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs