科大讯飞
【星火X计划】原生多模态通用大模型算法研究(J14508)
【星火X计划】原生多模态通用大模型算法研究(J14508)
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Deepspeed
Pytorch
Vision Transformer
分布式训练
多模态大模型
模型评测
自然语言处理
计算机视觉
值不值得投
77综合评分
综合评分 77
前沿多模态大模型算法岗，技术成长空间极大，挑战性强，平台好，但对WLB预期需合理管理。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
3.3万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 220 个在招 · 其中人工智能 23 个
市场机会
选择适中
合肥 · 人工智能 · 38 个在招
职位详情
关于这个职位
该职位是科大讯飞“星火X计划”下的原生多模态通用大模型算法研究员，专注于解决多模态大模型研发中的核心技术瓶颈
你需要围绕模型架构、数据治理、高效训练、多模态理解与推理、幻觉抑制等关键方向进行系统性研究，旨在构建具备统一感知、深度理解和复杂推理能力的下一代通用多模态基座模型，支撑公司技术的持续演进与规模化应用
最低要求
-27届硕士及以上学历，人工智能、计算机科学与技术、计算机视觉、电子信息、自动化、应用数学等相关专业，其他专业但具备突出研究和动手能力者同样欢迎
具备扎实的机器学习、深度学习和大模型基础，熟悉 Transformer、Vision Transformer、视觉语言模型等基本架构，了解多模态模型的主要训练流程与技术范式
熟练掌握 Python，具备良好的 C/C++ 编程能力，熟悉 PyTorch 框架
具有 Transformers、Megatron-LM、DeepSpeed、Colossal-AI 等框架使用或二次开发经验者优先
熟悉多模态模型相关技术，包括但不限于视觉编码器、模态连接器、图文对比学习、多模态位置编码、动态分辨率、视觉指令微调、多模态偏好对齐及强化学习等
具有相关科研或项目经历者优先
具有多模态数据构建与治理经验，熟悉图文数据过滤、去重、质量评估、数据合成、任务配比或动态采样等方法者优先
具备良好的沟通协作能力，能够与数据、预训练、工程、推理及业务团队协同完成算法落地、模型迭代和应用适配
具有较强的责任心、执行力和复杂问题解决能力
在 NeurIPS、ICLR、ICML、CVPR、ICCV、ECCV等顶级会议或相关高水平期刊发表过多模态学习、计算机视觉、自然语言处理或大模型相关论文者优先
工作职责
岗位职责核心是围绕原生多模态通用大模型的全链路技术进行研究与开发，具体包括：
聚焦通用原生多模态大模型研发中的核心技术瓶颈，研究方向涵盖原生多模态模型架构、多模态数据智能治理、高效预训练与对齐、多模态理解与推理、高分辨率图像和长视频建模、大规模分布式训练优化及模型评测等核心方向
针对多模态模型训练中模态表征差异大、图文语义对齐困难、视觉信息压缩损失、多模态数据质量参差、训练失衡、高分辨率及长视频计算成本高、细粒度感知能力不足、多模态幻觉突出等问题，开展系统性研究
通过协同优化模型架构、视觉编码器、模态连接模块、预训练目标、数据配比、损失权重、课程学习及分布式训练策略，建立覆盖数据治理、模型训练、能力评测和工业级落地的完整技术方案
支撑通用多模态基座模型的高效、稳定训练，建设标准化、自动化、可迭代的多模态能力评测体系，形成“数据构建—模型训练—能力评测—问题归因—算法迭代”的完整闭环
持续提升模型在通用视觉理解、视频理解、文档解析、视觉推理、内容生成及多模态智能体等方向的能力
优先资格
具有 Transformers、Megatron-LM、DeepSpeed、Colossal-AI 等框架使用或二次开发经验者优先
熟悉多模态模型相关技术，包括但不限于视觉编码器、模态连接器、图文对比学习、多模态位置编码、动态分辨率、视觉指令微调、多模态偏好对齐及强化学习等
具有相关科研或项目经历者优先
具有多模态数据构建与治理经验，熟悉图文数据过滤、去重、质量评估、数据合成、任务配比或动态采样等方法者优先
在 NeurIPS、ICLR、ICML、CVPR、ICCV、ECCV等顶级会议或相关高水平期刊发表过多模态学习、计算机视觉、自然语言处理或大模型相关论文者优先
AI 洞察
优缺点分析
优点
- 处于当前AI最前沿的多模态大模型研发赛道，技术成长天花板高
- 作为顶尖人才计划成员，能接触核心课题与顶尖团队，资源支持力度大
- 研究成果可直接应用于公司旗舰产品（如星火大模型），影响力直接可见
- 公司是上市企业，在AI领域有深厚积累，平台稳定且具有行业影响力
- 研究课题涉及多领域交叉，技术复杂度高，对个人综合能力要求极高
- 大模型训练成本高昂，对实验效率和资源协调能力提出考验
- 适合对AI研究有强烈热情、具备扎实理论基础和工程能力、渴望在前沿领域解决重大技术难题并希望研究成果产生实际影响的应届硕士或博士毕业生
缺点 / 挑战
- 需要解决从算法研究到工程落地的一系列挑战，工作压力与挑战并存
角色解读
- 技术专家路径：在多模态大模型算法领域持续深耕，成为公司或行业内的核心技术专家
- 技术管理路径：积累项目经验和团队协作能力，未来可带领小团队负责特定研究方向
- 学术产业融合路径：产出高水平论文与专利，推动研究成果在实际产品中规模化应用
- 研究并设计新一代原生多模态大模型的统一架构，解决不同模态信息融合的难题
- 构建和优化多模态数据的自动化治理体系，确保训练数据的高质量和多样性
- 设计高效的多模态预训练策略和对齐方法，提升模型的综合理解与推理能力
- 攻克模型在复杂视觉推理、长视频理解中的技术挑战，并抑制多模态幻觉现象
- 深厚的机器学习与深度学习理论基础，精通Transformer等主流架构
- 扎实的编程能力（Python、C/C++）和熟练使用PyTorch等深度学习框架
- 在计算机视觉和自然语言处理领域有交叉研究经验，熟悉多模态模型的主流技术
- 具备良好的系统思维和工程落地能力，能够将研究方案转化为可训练的系统
申请策略
- 仔细研读JD中的“课题挑战”部分，在面试中展示你对这些技术难题的深入思考
- 了解科大讯飞“星火”大模型系列的技术特点与定位，将个人研究兴趣与公司方向结合
- 准备好介绍一个你最具代表性的研究项目，清晰阐述问题、方法、结果与反思
- 重点突出与多模态、大模型、计算机视觉或NLP相关的科研项目经历和成果
- 详细列出在机器学习、深度学习框架（PyTorch）以及相关工具库上的熟练程度
- 如有，在顶级会议（如CVPR、NeurIPS）或期刊发表的论文需清晰列出
- 展示解决复杂技术问题的能力和良好的团队协作经验
- 深入研读多模态领域的经典和最新论文，跟进架构（如LLaVA, GPT-4V）与训练范式的发展
面试指南
- 使用STAR法则（情境、任务、行动、结果）结构化描述项目经历，突出技术深度和个人贡献
- 回答技术问题时，先阐述自己的理解（可能存在的优点和挑战），再提出自己的观点或改进思路，展现批判性思维
- 将问题与JD中提到的课题挑战联系起来，表明你的思考与岗位需求高度契合
- 请介绍一下你过去做过的与多模态/大模型/计算机视觉相关的研究项目，你遇到了哪些挑战，是如何解决的？
- 你如何看待当前主流多模态模型（如LLaVA, Qwen-VL）的架构设计？它们各自有什么优缺点？
- 如何评估一个多模态模型的能力？你会设计哪些评测维度或任务？
- 如果让你设计一个用于训练多模态模型的数据清洗流水线，你会考虑哪些关键步骤？
- 多模态大模型常出现“幻觉”问题，你认为有哪些可能的技术原因和缓解方法？
职位点评
薪资福利75
成长发展95
工作生活45
使命价值85
薪资福利
75中等
作为上市企业的顶尖人才计划岗位，预期能提供具有市场竞争力的薪酬福利体系，但具体福利细节JD未明确。
薪资信号未披露（AI估算：2.5千–4万/月）
成长发展
95较高
岗位直接面向AI最前沿的多模态大模型研发，技术含量高，且属于公司核心战略方向，提供极佳的技术成长和影响力提升机会。
技术前沿前沿/新兴技术
技术栈多模态大模型、Transformer、Vision Transformer、PyTorch、分布式训练、DeepSpeed、计算机视觉、自然语言处理
成长机会星火X顶尖AI人才计划、持续提升模型能力、支撑下一代多模态基座模型持续演进
业务类型profit_center
工作生活
45较低
工作地点在合肥和北京，均为需到岗办公。作为前沿研究岗位，对解决技术难题的投入度要求高，工作强度可能较大，但JD未明确提及WLB情况。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与构建下一代通用多模态AI基座，推动技术突破与规模化应用，对提升公司技术竞争力和推动AI发展有明确价值，使命感强。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号提升通用多模态理解与推理能力、支撑多模态模型规模化应用、构建核心技术竞争力与学术影响力
创新程度开拓性创新（行业首创）
Watch Jobs