科大讯飞
【星火X计划】音频生成大模型研究(J14496)
【星火X计划】音频生成大模型研究(J14496)
发布于 3 小时前普通员工/个人贡献者
全职员工混合式弹性办公人工智能
人工智能
Dit
Pytorch
大语言模型
扩散模型
深度学习
语音合成
语音生成
值不值得投
79综合评分
综合评分 79
讯飞顶尖AI研发岗，攻克语音生成前沿难题，技术成长价值极高，但需做好迎接高强度研发挑战的准备。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.5万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 220 个在招 · 其中人工智能 23 个
市场机会
选择适中
合肥 · 人工智能 · 38 个在招
职位详情
关于这个职位
该职位是科大讯飞“星火X计划”中的博士级研究员，专注于“端到端语音生成大模型”的前沿研究
你将深入探索LLM与扩散模型/多token预测技术的结合，旨在构建高保真、强可控的通用语音生成体系，突破传统TTS在自然度、可控性与泛化能力上的瓶颈
这是一个聚焦技术攻坚与创新的顶级研发岗位
最低要求
-27届博士毕业生，人工智能、计算机科学、深度学习、信号处理、自然语言处理、电子信息等相关专业，具备良好的科研素养与前沿研究视野
理论功底扎实，掌握深度学习与大模型核心基础理论，熟悉语音合成、音频生成、扩散模型、离散音频表征或语音—语言多模态建模的核心原理与前沿进展，了解大模型预训练、微调、推理全链路技术体系
具备端到端语音生成、DiT/流匹配、音频 tokenizer 相关研究经验者优先
具备优秀的独立科研攻关与复杂问题拆解能力，能够精准定位端到端语音生成建模中的核心技术瓶颈，独立完成原创算法方案设计、原理迭代与大规模实验验证，具备较强的问题复盘与技术优化思维
拥有扎实的数理推导、算法建模与实验设计能力，可独立完成语音生成框架设计、音频表征学习、可控生成、扩散/多 token 预测建模等方向的算法创新与消融实验
有 ICASSP、INTERSPEECH、ACL、ICLR、NeurIPS、ICML 等顶会/顶刊语音、音频、生成模型相关论文发表或录用经历优先
具备良好的工程实操能力，熟练使用 PyTorch 及主流大模型/扩散模型训练框架，熟悉大模型分布式训练、显存优化、推理加速等工程落地技术，具备大规模语音/音频/多模态模型训练经验者优先
具备良好的跨团队协作能力，可协同模型训练、推理加速、业务落地团队推进技术迭代，抗压能力强，能够适配工业级前沿算法研发节奏
工作职责
方向一：端到端语音生成模型框架
以大语言模型完成文本/语义到声学表征的映射，以扩散模型（DiT）或多 token 预测（MTP, Multi-Token Prediction）完成高保真声学生成，构建语义骨架与声学引擎协同的端到端框架
重点研究 LLM 与 DiT/MTP 的耦合方式、语义条件注入机制、生成质量与推理效率的平衡、流式低延迟生成（支撑课题一实时交互）等问题
方向二：通用音频生成 tokenizer
研究面向生成大模型的通用音频离散化表征，覆盖语音、音乐、音效等多类音频
重点攻坚高压缩率下的重建保真度、语义信息与声学细节的分层解耦、码本利用率与稳定性、tokenizer 与下游生成模型的联合优化，构建可作为通用“音频词表”的高质量 tokenizer
方向三：多人多轮细粒度指令语音生成技术
面向真实对话与内容生成场景，攻坚多说话人、多轮对话、细粒度指令控制的语音生成
重点研究零样本音色复刻与说话人解耦、情感/语速/风格/副语言的细粒度指令控制、多轮对话中的音色一致性与韵律连贯、长音频生成的稳定性与一致性等问题
优先资格
具备端到端语音生成、DiT/流匹配、音频 tokenizer 相关研究经验者优先
有 ICASSP、INTERSPEECH、ACL、ICLR、NeurIPS、ICML 等顶会/顶刊语音、音频、生成模型相关论文发表或录用经历优先
具备大规模语音/音频/多模态模型训练经验者优先
AI 洞察
优缺点分析
优点
- 属于公司级顶尖人才计划，能获得丰富的研究资源与平台支持
- 研究成果可直接赋能讯飞核心语音产品，看到实际影响力与落地价值
- 团队可能汇集顶尖人才，拥有浓厚的科研与工程结合氛围
- 技术难度极大，面临学术界尚未完全解决的建模与工程化难题
- 作为“星火X计划”成员，可能面临更高的考核标准与更快的迭代节奏
- 对语音生成技术有极强热情、渴望攻克底层技术难题、具备深厚AI理论功底和出色独立研究能力的博士毕业生
- 适合追求技术深度与前沿创新，希望在产业界顶级平台实现学术价值的候选人
缺点 / 挑战
- 处于语音AI最前沿的研究方向，技术挑战高，成长天花板高
- 对论文发表有明确期待，科研产出压力与高标准并存
角色解读
- 技术专家路径：在语音生成领域持续深耕，成为该方向的顶尖技术专家或科学家
- 技术负责人路径：凭借项目成果与领导力，逐步负责语音生成相关的技术团队或子产品线
- 学术与产业结合路径：通过顶会论文发表建立学术影响力，推动研究成果在讯飞产品中规模化落地
- 深入研究并设计LLM与扩散模型/多token预测技术结合的端到端语音生成新框架
- 攻关通用音频生成tokenizer的构建，解决重建保真度与信息解耦的平衡难题
- 实现多说话人、多轮对话、细粒度指令（情感/风格等）的高保真可控语音生成
- 搭建端到端的全维度自动化评测体系，验证算法创新效果
- 扎实的深度学习、大模型及语音合成/音频生成核心理论基础
- 精通扩散模型（如DiT）、自回归模型及多模态建模的原理与实践
- 优秀的算法设计、建模与独立科研攻关能力，能解决复杂技术瓶颈
- 熟练使用PyTorch等工具，并具备大模型分布式训练与工程优化经验
申请策略
- 仔细阅读课题描述中“课题挑战”部分，在面试中展现你对这些核心问题的深度思考
- 了解科大讯飞在语音合成、虚拟人、有声内容等领域的现有产品与技术积累
- 准备一个你过往最具挑战性的研究课题的深度技术演讲，这是此类岗位面试的常见环节
- 突出博士研究课题，尤其是与语音生成、扩散模型、音频表征、大语言模型相关的研究成果
- 重点展示在顶会/顶刊（如ICASSP， INTERSPEECH， NeurIPS等）发表或录用的论文，详细说明个人贡献
- 列举使用PyTorch进行大规模模型训练、分布式训练或推理优化的具体项目经验与技术细节
- 描述独立解决复杂科研问题的案例，体现问题拆解、建模与实验设计能力
- 系统梳理扩散模型（特别是DiT架构）、多token预测（MTP）的最新进展与经典论文
面试指南
- 使用STAR法则（情境、任务、行动、结果）来结构化地讲述你的研究项目
- 回答技术问题时，先阐述问题的本质和不同技术路线的原理，再给出你的思考或解决方案
- 展现你的技术深度和广度，同时诚实说明未知领域，并展示快速学习和解决问题的思路
- 请详细介绍你博士期间做的最核心的研究课题，以及你解决了什么关键问题？
- 你如何看待当前语音生成领域自回归模型与扩散模型的优缺点？如何融合它们的优势？
- 如果你要设计一个通用的音频tokenizer，你会考虑哪些核心指标和架构选择？
- 对于多人多轮对话中的语音生成，你认为维持一致性的最大挑战是什么？
- 你为什么对科大讯飞的这个“星火X计划”感兴趣？你认为你的背景如何匹配这个课题？
职位点评
薪资福利75
成长发展95
工作生活60
使命价值85
薪资福利
75中等
作为已上市头部AI企业的顶尖人才计划岗位，薪资福利体系应具有市场竞争力，能满足较好的物质需求。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
95较高
该岗位是深度技术前沿研究，要求并提供顶尖的AI技术挑战、顶级的平台资源和明确的学术成果产出预期，对技术成长和职业发展助力极大。
技术前沿前沿/新兴技术
技术栈端到端语音生成、LLM、DiT、Multi-Token Prediction、音频Tokenizer、扩散模型、PyTorch
业务类型profit_center
工作生活
60中等
作为前沿技术研发岗，尤其涉及大模型训练与调试，工作强度和节奏可能较高，对WLB的保障需要具体确认。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
投身于语音交互底层技术的革新，旨在解决行业共性难题并赋能公司核心产品，具有明确的技术创新价值和业务影响力。
行业发展高速增长赛道
社会影响中性/一般
使命信号突破固有瓶颈、构建…体系、打造…模型、赋能…升级、拓展…边界、夯实…壁垒
创新程度开拓性创新（行业首创）
Watch Jobs