科大讯飞
【星火X计划-实习】端到端语音底座大模型研究(J14613)
【星火X计划-实习】端到端语音底座大模型研究(J14613)
发布于 3 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Deepspeed
Megatron
Pytorch
全双工交互
分布式训练
同声传译
多模态建模
流式建模
端到端语音大模型
值不值得投
77综合评分
综合评分 77
科大讯飞顶尖AI人才计划实习岗，聚焦端到端语音大模型前沿技术，成长空间极大，研发节奏较快。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
1.2万
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招 · 其中人工智能 36 个
市场机会
选择面较广
合肥 · 人工智能 · 52 个在招
职位详情
关于这个职位
该职位是科大讯飞星火X计划的实习岗位，聚焦端到端语音大模型研究，致力于突破传统级联架构瓶颈，构建低延迟、全双工的实时语音交互底座
你将参与语音同传翻译、长上下文语音识别等前沿方向的算法攻坚，推动下一代人机语音交互技术的落地
最低要求
届及以后届博士毕业生，人工智能、计算机科学、深度学习、信号处理、自然语言处理、电子信息等相关专业，具备良好的科研素养与前沿研究视野
理论功底扎实，掌握深度学习与大模型核心基础理论，熟悉语音识别、语音翻译、语音交互或语音—语言多模态建模的核心原理与前沿进展，了解大模型预训练、微调、推理全链路技术体系
具备端到端语音大模型、流式建模、全双工交互相关研究经验者优先
具备优秀的独立科研攻关与复杂问题拆解能力，能够精准定位端到端语音建模中的核心技术瓶颈，独立完成原创算法方案设计、原理迭代与大规模实验验证，具备较强的问题复盘与技术优化思维
拥有扎实的数理推导、算法建模与实验设计能力，可独立完成语音表征学习、流式/全双工建模、同传决策、超长序列建模等方向的算法创新与消融实验
有 ICASSP、INTERSPEECH、ACL、ICLR、NeurIPS、ICML 等顶会/顶刊语音、多模态、大模型相关论文发表或录用经历优先
具备良好的工程实操能力，熟练使用 PyTorch 及主流大模型训练框架（如 Megatron、DeepSpeed 等），熟悉大模型分布式训练、显存优化、推理加速等工程落地技术，具备大规模语音/多模态模型训练经验者优先
具备良好的跨团队协作能力，可协同模型训练、推理加速、业务落地团队推进技术迭代，抗压能力强，能够适配工业级前沿算法研发节奏
工作职责
【课题介绍】
方向一：构建端到端实时语音交互大模型框架（统一底座），覆盖实时流式建模、全双工交互控制、端到端语音—语义联合表征三大技术点
重点解决多模态统一底座降智问题、流式增量编码与低延迟响应、全双工场景下的双讲/打断/回声处理、说话节奏与轮次控制、副语言信息的显式建模与利用等问题
方向二：攻坚端到端语音同传翻译技术，面向流式同声传译场景，以语音到文本翻译为核心，攻坚"边听边译"的读写决策，解决跨语言语义在不完整上下文下的增量对齐、语序差异语言的等待策略、专有名词与领域术语的流式一致性等难题
方向三：研究长上下文与鸡尾酒会语音识别技术，面向小时级、会议级超长音频的识别场景，重点研究超长音频的上下文一致性建模、跨轮次的记忆与指代消解、说话人日志与识别的联合建模、超长序列下的流式增量解码不退化、多说话人语音识别等问题
【课题挑战】
攻克端到端语音—语义联合表征与预训练难题，设计保留副语言信息且与语言模型语义空间对齐的语音表征，在有限配对数据下完成大规模预训练
解决低延迟流式建模与全双工交互控制难题，在流式增量编码约束下实现低首包延迟，鲁棒处理双讲、打断、回声与背景噪声，设计稳定的轮次控制与打断检测机制
解决同传翻译的读写决策与质量—延迟平衡难题，设计自适应等待/输出策略，解决增量解码中的译文回退与修正问题
解决超长音频的上下文一致性与流式增量解码退化难题，研究超长序列的记忆压缩与复用、识别与说话人日志的联合建模
搭建覆盖理解精度、交互体验、延迟开销、鲁棒性的全维度自动化评测平台，解决端到端语音模型评测体系缺失问题
【课题价值】
实现技术创新价值，突破级联语音交互架构瓶颈，构建以语音为中心的端到端理解大模型统一范式
实现工程落地价值，解决级联管线首包延迟高、副语言信息不可用、半双工体验僵硬三大工业痛点，支撑自研产品端到端升级
实现业务赋能价值，提升实时语音助手、会议同传、超长会议记录等复杂场景的交互体验与识别效果
实现技术壁垒价值，形成完整技术体系，产出高水平顶会论文与自研大模型，夯实行业技术壁垒与学术影响力
优先资格
具备端到端语音大模型、流式建模、全双工交互相关研究经验者优先
有 ICASSP、INTERSPEECH、ACL、ICLR、NeurIPS、ICML 等顶会/顶刊语音、多模态、大模型相关论文发表或录用经历优先
具备大规模语音/多模态模型训练经验者优先
AI 洞察
优缺点分析
优点
- 依托科大讯飞在语音领域的深厚积累，能接触到工业级海量数据与算力资源
- “星火X计划”提供顶尖AI人才培养资源，职业发展起点高
- 端到端语音大模型属于深水区技术，面临级联架构替代的诸多工程与算法难题，研发周期长、难度大
- 需要兼顾算法创新与工业级落地，对工程实操与抗压能力要求极高
- 适合具有扎实数理基础、对语音及多模态大模型有浓厚兴趣，且有志于在AI前沿领域深耕的博士在校生
缺点 / 挑战
- 课题聚焦下一代人机交互核心底座，技术前沿且极具挑战，易出高水平学术成果
角色解读
- 从算法研究员成长为端到端语音领域的顶尖技术专家
- 有机会在ICASSP、NeurIPS等顶会发表高水平论文，提升学术与行业影响力
- 未来可带领团队推进下一代实时语音交互产品的技术落地
- 研究并构建端到端语音大模型统一底座，解决低延迟流式建模与全双工交互控制难题
- 攻坚端到端语音同传翻译技术，优化读写决策与质量延迟平衡
- 研究长上下文与鸡尾酒会语音识别技术，提升超长音频识别精度
- 扎实的深度学习与大模型理论基础，熟悉语音识别、翻译及多模态建模原理
- 熟练使用PyTorch及Megatron/DeepSpeed等大模型训练框架，具备分布式训练与推理加速能力
- 具备优秀的数理推导、算法建模及独立科研攻关能力
申请策略
- 提前了解科大讯飞星火大模型的最新进展及语音交互产品线，在面试中展现对工业级语音交互痛点的深刻理解
- 突出在语音识别、多模态大模型或流式建模相关的项目经验与科研成果
- 详细列出在ICASSP、NeurIPS等顶会/顶刊的论文发表情况
- 强调熟练使用PyTorch及大模型分布式训练框架的工程能力
- 深入研读端到端语音大模型、全双工交互及流式同传翻译的最新顶会论文
- 动手实践Megatron/DeepSpeed等分布式训练框架，提升大模型训练与显存优化能力
面试指南
- “问题拆解-方案设计-实验验证”框架：首先精准定位技术瓶颈，然后提出原创算法方案或优化策略，最后说明如何通过消融实验或大规模训练验证方案的有效性
- “理论结合工程”框架：在阐述算法创新时，结合分布式训练、显存优化等工程落地技术，展现工业级研发思维
- 如何解决端到端语音模型中多模态统一底座的降智问题？
- 在全双工交互场景下，如何设计稳定的轮次控制与打断检测机制？
- 流式同传翻译中，如何平衡译文质量与翻译延迟？
- 针对小时级超长音频，如何设计记忆压缩与复用机制以保证流式解码不退化？
- 请分享一次你独立解决复杂算法瓶颈或进行大规模实验验证的经历
- 系统复习端到端语音大模型、流式建模及全双工交互的前沿论文，准备1-2个自己主导的复杂算法攻坚项目案例
职位点评
薪资福利70
成长发展95
工作生活50
使命价值85
薪资福利
70中等
博士实习岗位，薪资符合头部AI企业实习生市场水准，但作为实习岗，整体薪酬绝对值不及正式社招。
薪资信号未披露（AI估算：8千–1.5万/月）
成长发展
95较高
聚焦下一代语音交互核心底座，技术极具前沿性，且依托顶尖AI人才计划，学术与工程成长空间巨大。
技术前沿前沿/新兴技术
技术栈PyTorch、Megatron、DeepSpeed、端到端语音大模型、流式建模、全双工交互、多模态建模
成长机会星火X顶尖AI人才计划
业务类型profit_center
工作生活
50较低
JD未明确提及工作模式与WLB信息，但大模型研发通常节奏较快，实习岗需适配工业级前沿算法研发节奏。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
85较高
致力于突破传统语音交互瓶颈，推动下一代人机语音交互技术落地，具有较高的技术创新价值与行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号突破当前级联架构固有瓶颈、构建以语音为中心的统一大模型体系、夯实公司在下一代语音交互领域的行业技术壁垒与学术影响力
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs