科大讯飞
【星火X计划】实时音视频一体化生成关键技术研究(J14494)
【星火X计划】实时音视频一体化生成关键技术研究(J14494)
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Dit
分布式训练
多模态生成
实时生成
扩散模型
数字人
模型压缩
流式推理
语音合成
值不值得投
77综合评分
综合评分 77
面向数字人前沿技术的博士校招研究岗，技术成长空间巨大，挑战性强，工作生活平衡需考量。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
3.5万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 220 个在招 · 其中人工智能 23 个
市场机会
选择适中
合肥 · 人工智能 · 38 个在招
职位详情
关于这个职位
这是科大讯飞“星火X计划”中的一个顶尖研究岗位，专注于实时交互场景下的音视频一体化数字人生成技术
该职位致力于突破当前级联方案的技术瓶颈，通过原生联合建模数字人的语音、表情动作和视频画面，以实现高拟人度、高一致性、低延迟的流式生成，为智能客服、教育陪练等场景提供“可实时交流的具身Agent”体验
最低要求
-27届博士毕业生，人工智能、计算机视觉、语音信号处理、机器学习、计算机图形学、多媒体、电子信息等相关专业，具备良好的科研能力和前沿技术敏感度
熟悉视频生成、音频生成、多模态生成、扩散模型、DiT/mmDiT、Flow Matching、VAE/Codec、Transformer 等技术
有数字人、talking-head、portrait animation、human video generation 或音视频联合生成经验者优先
熟悉语音合成、Audio Codec、声学建模、韵律建模、音色克隆、语音情绪控制、空间音频或背景音生成等方向
具备语音和视觉生成交叉背景者优先
具备长时序建模和流式推理经验，了解 causal attention、chunk-based generation、状态缓存复用、跨片段一致性建模、低步数采样、实时音视频系统者优先
具备后训练和生成模型优化经验，熟悉偏好对齐、奖励模型、DPO/RLHF、模型蒸馏、量化压缩、推理加速等方法，能够围绕数字人生成效果进行系统性优化
熟悉视频生成模型训练工具链，掌握 PyTorch 及 Diffuser 等扩散/DiT 视频生成训练框架
熟悉DeepSpeed、FSDP等大规模分布式训练框架者优先
具备扎实的实验设计和评测能力，能够围绕音频质量、唇形同步、表情自然度、动作真实感、身份一致性、声场一致性、背景稳定性、长时稳定性和端到端延迟建立评测体系
有 CVPR、ICCV、ECCV、NeurIPS、ICLR、ICASSP、INTERSPEECH、SIGGRAPH 等论文或高质量开源经验者优先
工作职责
岗位职责：
【课题介绍】
本课题面向实时交互场景的音视频一体化数字人生成技术，围绕数字人的语音、表情动作、声场环境和视频画面进行统一建模，构建具备高拟人度、高可控性、高音频质量、长时一致性和低延迟流式生成能力的数字人生成基座
当前数字人生成多采用“文本/语义理解、TTS、唇驱、表情动作驱动、视频渲染”级联链路，工程上易落地，但在真实交互中容易出现多模态割裂问题：语音与口型同步但情绪、表情和动作不一致
人物与背景画面的光照、空间和运动关系不稳定
声场、背景音、环境氛围与视频画面缺乏统一建模
长时生成中人物身份、音色、动作风格和画面细节逐步漂移
同时级联链路带来较高端到端延迟，难以支撑自然连续的实时交互体验
课题拟研究音频与视频原生联合生成模型，探索纯 DiT 或类 DiT 统一生成架构下的语音、人物动作与视频画面协同建模方法
重点提升一体化生成中的语音自然度、音色稳定性、韵律情绪表达、背景音画一致性和声场空间一致性，解决统一音视频生成架构下语音合成稳定性不足、音频细节易退化的问题
突破长时生成中的人物身份保持、动作风格延续、背景画面稳定、音画空间一致和跨片段无缝衔接难题
面向在线交互场景，研究流式生成、因果建模、低延迟推理、后训练对齐、蒸馏压缩和端侧/云侧协同部署等关键技术，并为后续与交互理解模型端到端融合奠定基础
【课题挑战】
音视频一体化架构下的高一致性生成问题
数字人生成不仅需要语音和口型同步，还需要语音韵律、表情动作、人物姿态、镜头运动、背景画面、环境声和空间声场在统一时空内保持一致
如何在统一生成架构中同时建模人物表达、画面动态、背景环境和声音空间关系，避免“音频像后贴、画面像拼接、动作像模板”的割裂感，是课题的核心挑战
纯 DiT/类DiT框架下的高质量语音生成稳定性问题
在音视频一体化生成模型中，语音不应只是视频生成的附属条件，而应作为核心生成目标之一
纯 DiT 或类 DiT 统一架构在建模视觉动态方面具备优势，但在语音音色保持、韵律自然度、细粒度音频纹理、情绪表达、背景音融合和长时稳定性方面仍存在挑战
需要研究适配统一音视频模型的音频表征、音频 tokenizer / codec、跨模态注意力机制、损失设计和训练策略，提升一体化模型中的语音合成质量与稳定性
长时流式生成中的身份、音色、动作与背景一致性问题
实时数字人需要连续生成较长时间内容，模型容易在分钟级生成中出现人物身份漂移、音色变化、表情风格不连续、动作循环、背景闪烁、光照变化、声场跳变、片段边界不平滑等问题
课题需要研究长时记忆、状态缓存、跨 chunk 一致性约束、音画同步校正和流式生成状态管理，实现长时连续输出下的人物、声音、动作和环境高一致性
视频生成后训练、蒸馏压缩与低延迟部署问题
交互场景对首帧延迟、持续生成速度、音画同步和响应自然度要求极高，单纯依赖大模型离线生成难以满足线上部署需求
课题需研究面向数字人生成的后训练技术，包括偏好对齐、质量奖励模型、同步性奖励、人物一致性奖励、交互自然度评测与优化
同时探索低步数采样、模型蒸馏、结构剪枝、量化压缩、缓存复用和推理调度等方法，在保证音频质量、画面质量和长时一致性的前提下，实现低延迟流式生成
【课题价值】
技术创新价值
突破传统数字人级联链路在音视频一致性、语音质量、人物拟人度和长时稳定性上的瓶颈，形成面向交互式数字人的音视频原生联合生成技术体系
工程落地价值
支撑公司构建可在线服务的数字人生成引擎，实现高质量、可控、长时稳定、低延迟的流式音视频生成能力，满足实时交互场景的部署要求
业务赋能价值
提升数字人在智能客服、教育陪练、直播导购、内容生产、虚拟陪伴、企业导览等场景中的自然表达和连续交互体验，使数字人从“离线播报视频”升级为“可实时交流的具身 Agent”
技术壁垒价值
沉淀统一音视频生成模型、数字人数据管线、长时一致性建模、后训练对齐、蒸馏压缩、流式推理和评测体系，形成公司在交互式数字人生成方向的核心算法资产
AI 洞察
优缺点分析
优点
- 研究成果有明确的业务落地场景（智能客服、教育等）和产品化路径，技术价值易体现
- 依托国内领先的AI公司平台，拥有充足的数据、算力和跨团队协作资源
- 课题涉及音频、视觉、多模态、实时系统等多领域交叉，技术复杂度极高
- 从研究到工程化落地需要解决大量实际部署难题（如延迟、稳定性），对综合能力要求高
- 作为博士校招岗，初期可能需要快速将学术研究思维转化为解决实际产品问题的工程思维
- 适合对AI多模态生成（尤其是音视频融合）有浓厚兴趣和扎实基础的博士应届生，具备强烈的探索精神和解决复杂系统问题的意愿，希望将前沿技术直接应用于产业场景
缺点 / 挑战
- 直接参与行业前沿的音视频一体化生成技术攻坚，挑战性高，成长快
- 属于公司重点人才计划，有较高的技术定位和发展起点
角色解读
- 技术专家路线：深耕多模态生成领域，成为音视频AI生成方向的技术权威和架构师
- 技术管理路线：带领研究小组或部门，负责更前沿的AI实验室或数字人产品线
- 产业结合路线：深入理解业务场景（如教育、客服），将技术转化为有影响力的产品
- 研究并构建音视频一体化生成的统一AI模型，取代传统的多模块级联方案
- 专注于提升生成内容的一致性（音画同步、长时稳定）和实时交互性能
- 需要设计并优化从模型训练、后处理到端云协同部署的全链路技术方案
- 将研究成果转化为可服务于智能客服、虚拟人等场景的核心引擎
- 精通深度学习，尤其是扩散模型、DiT架构及多模态生成技术
- 在语音合成（TTS）和/或视觉生成（视频、数字人）领域有深入研究或工程经验
- 熟悉模型训练优化技巧，如分布式训练、模型蒸馏、量化压缩等
- 具备扎实的科研能力，能追踪前沿，并有高质量论文或开源项目
申请策略
- 深入研读该职位的课题介绍和挑战，准备一个关于如何解决其中某个子问题的简要思路
- 了解科大讯飞在语音合成、数字人等领域的现有技术布局和产品，思考该课题如何与其战略结合
- 在面试中，准备好清晰阐述自己过去最相关研究的动机、方法、挑战和收获，展现科研深度
- 突出与课题直接相关的研究经历，如多模态生成、Diffusion/DiT模型、音视频处理等
- 展示高质量学术成果，如顶会论文（CVPR, NeurIPS等）或有影响力的开源项目
- 强调解决复杂技术问题的案例，特别是涉及模型性能优化、长时一致性或实时性的工作
- 体现对数字人、对话系统或相关应用领域的理解与热情
- 系统性地梳理和强化音视频生成、扩散模型、流式推理等核心领域的知识体系
面试指南
- 回答技术问题时，采用“问题背景-核心挑战-我的方法-效果分析-思考延伸”的结构，体现系统性思维
- 对于开放性问题（如对课题难点的看法），可以结合自己的知识提出1-2个可能的技术方向或思路，并说明理由
- 展示学习能力和对技术的热情，当遇到不了解的细节时，可以诚实说明，并表达强烈的学习意愿
- 请详细介绍你过去做过的与多模态生成（特别是音视频融合）最相关的研究，你解决了什么核心问题？
- 针对本课题中“音视频一体化架构下的高一致性生成问题”，你认为最大的技术难点是什么？你有什么初步的思考？
- 你如何理解流式生成和低延迟推理？在生成模型中实现这一点，可能会面临哪些与训练时不同的挑战？
- 请谈谈你对扩散模型（Diffusion Model）和DiT架构的理解，以及它们在音视频生成任务中的优势和局限
- 你的博士论文主要研究方向是什么？它与这个岗位的要求有哪些契合点和可能需要补充的地方？
职位点评
薪资福利65
成长发展95
工作生活55
使命价值90
薪资福利
65中等
该职位薪资水平在合肥地区具备竞争力，但作为校招研究岗，起薪可能不如部分商业化岗位；福利体系完善，但具体细节未在JD中披露。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
95较高
该职位直接瞄准多模态生成领域的顶尖技术难题，提供前沿的研究课题、丰富的实践场景和顶尖团队支持，是博士毕业生快速成长为领域专家的绝佳平台。
技术前沿前沿/新兴技术
技术栈DiT、扩散模型、流式生成、音频编解码、音视频一致性
业务类型ambiguous
工作生活
55较低
工作地点在合肥，生活成本相对较低。但课题涉及从研究到部署的全链条攻坚，且明确要求“低延迟流式生成”，可能伴随较高的工作强度和项目压力，工作与生活平衡存在挑战。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
90较高
该职位致力于突破数字人交互的关键技术瓶颈，研究成果可赋能智能客服、教育等广泛场景，具有明确的技术创新价值、工程落地价值和业务赋能价值，使命感强。
行业发展高速增长赛道
社会影响中性/一般
使命信号技术创新价值、工程落地价值、业务赋能价值、技术壁垒价值
创新程度开拓性创新（行业首创）
Watch Jobs