科大讯飞
【星火X计划-实习】音频生成大模型研究(J14612)
【星火X计划-实习】音频生成大模型研究(J14612)
发布于 5 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Dit
Pytorch
分布式训练
多模态建模
大语言模型
扩散模型
语音合成
音频生成
值不值得投
73综合评分
综合评分 73
讯飞星火顶尖AI人才实习计划，聚焦端到端语音大模型前沿研究，技术成长性与学术产出空间极大。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
9千
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招 · 其中人工智能 36 个
市场机会
选择面较广
合肥 · 人工智能 · 52 个在招
职位详情
关于这个职位
该职位是科大讯飞星火X计划的博士实习生岗位，聚焦端到端语音生成大模型研究，探索LLM与扩散模型结合的语音生成新范式
你将参与通用音频tokenizer构建及多轮细粒度指令语音生成等核心课题，解决语音合成在音质、可控性及多说话人场景下的技术瓶颈
最低要求
届及以后博士毕业生，人工智能、计算机科学、深度学习、信号处理、自然语言处理、电子信息等相关专业，具备良好的科研素养与前沿研究视野
理论功底扎实，掌握深度学习与大模型核心基础理论，熟悉语音合成、音频生成、扩散模型、离散音频表征或语音—语言多模态建模的核心原理与前沿进展，了解大模型预训练、微调、推理全链路技术体系
具备优秀的独立科研攻关与复杂问题拆解能力，能够精准定位端到端语音生成建模中的核心技术瓶颈，独立完成原创算法方案设计、原理迭代与大规模实验验证，具备较强的问题复盘与技术优化思维
拥有扎实的数理推导、算法建模与实验设计能力，可独立完成语音生成框架设计、音频表征学习、可控生成、扩散/多 token 预测建模等方向的算法创新与消融实验
具备良好的工程实操能力，熟练使用 PyTorch 及主流大模型/扩散模型训练框架，熟悉大模型分布式训练、显存优化、推理加速等工程落地技术
具备良好的跨团队协作能力，可协同模型训练、推理加速、业务落地团队推进技术迭代，抗压能力强，能够适配工业级前沿算法研发节奏
工作职责
方向一：端到端语音生成模型框架
以大语言模型完成文本/语义到声学表征的映射，以扩散模型（DiT）或多 token 预测（MTP）完成高保真声学生成，构建语义骨架与声学引擎协同的端到端框架
重点研究 LLM 与 DiT/MTP 的耦合方式、语义条件注入机制、生成质量与推理效率的平衡、流式低延迟生成等问题
方向二：通用音频生成 tokenizer
研究面向生成大模型的通用音频离散化表征，覆盖语音、音乐、音效等多类音频
重点攻坚高压缩率下的重建保真度、语义信息与声学细节的分层解耦、码本利用率与稳定性、tokenizer 与下游生成模型的联合优化，构建可作为通用“音频词表”的高质量 tokenizer
方向三：多人多轮细粒度指令语音生成技术
面向真实对话与内容生成场景，攻坚多说话人、多轮对话、细粒度指令控制的语音生成
重点研究零样本音色复刻与说话人解耦、情感/语速/风格/副语言的细粒度指令控制、多轮对话中的音色一致性与韵律连贯、长音频生成的稳定性与一致性等问题
优先资格
具备端到端语音生成、DiT/流匹配、音频 tokenizer 相关研究经验者优先
有 ICASSP、INTERSPEECH、ACL、ICLR、NeurIPS、ICML 等顶会/顶刊语音、音频、生成模型相关论文发表或录用经历优先
具备大规模语音/音频/多模态模型训练经验者优先
AI 洞察
优缺点分析
优点
- 依托科大讯飞在语音领域的深厚积累，能接触到工业级海量数据与算力资源，工程落地价值高
- 课题聚焦端到端语音生成大模型这一前沿方向，技术壁垒高，易产出顶会论文，学术与业务双丰收
- 星火X顶尖AI人才计划提供优质的培养资源与跨团队协作机会，职业起点高
- 端到端语音生成涉及LLM与扩散模型的耦合，技术难度极大，需平衡生成质量、可控性与推理效率
- 工业级前沿算法研发节奏快，需具备较强的抗压能力与跨团队协同推进落地的能力
- 适合具备扎实数理基础与科研能力，有志于在AI语音生成与大模型领域深耕，并期望在学术与工业界双线发展的博士在校生
缺点 / 挑战
暂无明显挑战项
角色解读
- 在顶尖AI人才计划中积累大模型前沿研究经验，产出高水平顶会论文，提升学术影响力
- 从算法研究员向AI语音生成领域的技术专家或首席科学家方向发展，主导核心业务的技术升级
- 研究端到端语音生成大模型框架，探索LLM与扩散模型（DiT/MTP）结合的语音生成新范式
- 研发通用音频生成tokenizer，解决高压缩率下的重建保真度与语义-声学解耦问题
- 攻坚多人多轮细粒度指令语音生成技术，实现零样本音色复刻与情感、语速等细粒度控制
- 扎实的深度学习与大模型理论基础，熟悉语音合成、扩散模型及多模态建模原理
- 熟练使用PyTorch及主流大模型训练框架，具备分布式训练与推理加速的工程落地能力
- 优秀的独立科研与复杂问题拆解能力，能独立完成算法设计、实验验证与顶会论文撰写
申请策略
- 提前了解科大讯飞星火大模型及现有语音合成产品的技术现状，思考端到端升级的潜在切入点
- 重点突出在语音合成、音频生成、扩散模型或大语言模型相关方向的科研项目与论文发表经历
- 展示熟练使用PyTorch进行大规模模型训练、分布式训练及显存优化的工程实操经验
- 强调独立拆解复杂问题、设计原创算法并完成消融实验的科研攻关能力
- 深入学习DiT、流匹配（Flow Matching）及多Token预测（MTP）等最新生成模型架构
- 熟悉音频tokenizer的前沿研究，了解语义与声学信息解耦的最新论文与开源实现
面试指南
- STAR法则：针对科研或工程项目，清晰阐述背景、任务、采取的具体技术方案及最终取得的指标提升或论文成果
- 对比分析法：在回答技术选型或难点解决时，对比传统方案（如自回归离散token）与新方案（如扩散模型）的优劣，突出你的创新点
- 请详细介绍你过往在语音生成或扩散模型相关课题中的核心贡献与技术难点解决过程
- 在LLM与DiT/MTP耦合的端到端框架中，如何解决语义条件注入与误差累积的问题？
- 针对通用音频tokenizer，如何在高压缩率下平衡重建保真度与语义-声学解耦？
- 在多说话人多轮对话场景中，如何保证音色一致性与韵律连贯性？
- 请分享一次你独立设计算法并进行大规模实验验证的经历，遇到了什么工程挑战？
- 精读近期ICASSP、INTERSPEECH、ICLR等顶会中关于端到端语音生成、音频tokenizer及LLM结合TTS的最新论文
职位点评
薪资福利50
成长发展95
工作生活50
使命价值85
薪资福利
50较低
作为博士实习生岗位，薪资符合实习生市场标准，但相比正式社招全职岗位，绝对薪资与福利稳定性有限。
薪资信号未披露（AI估算：6千–1.2万/月）
成长发展
95较高
依托星火X顶尖AI人才计划，聚焦端到端语音大模型这一极具前瞻性的方向，技术成长与学术产出空间极大。
技术前沿前沿/新兴技术
技术栈LLM、DiT、MTP、PyTorch、扩散模型、音频tokenizer、多模态建模
成长机会星火X顶尖AI人才计划
业务类型profit_center
工作生活
50较低
JD未明确说明工作模式与工时安排，无法判断具体的工作强度与生活平衡情况。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
致力于突破传统TTS瓶颈，推动语音合成范式变革，技术壁垒价值与业务赋能价值显著，具有较强的技术使命感。
行业发展高速增长赛道
社会影响中性/一般
使命信号突破传统 TTS 在音质自然度、音色/韵律/情感可控性、零样本泛化、多说话人多轮交互生成上的固有瓶颈
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs