腾讯
腾讯游戏-语音大模型-高级研究员
腾讯游戏-语音大模型-高级研究员
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Deepspeed
Pytorch
Tts
Vllm
大模型
强化学习
模型蒸馏
语音合成
值不值得投
83综合评分
综合评分 83
游戏AI核心岗，前沿大模型技术栈，薪资丰厚且成长空间巨大，但业务交付压力可能影响WLB。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
6.3万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1980 个在招 · 其中人工智能 24 个
市场机会
选择面较广
上海 · 人工智能 · 约 330 个在招
职位详情
关于这个职位
该职位负责腾讯游戏智能NPC语音合成（TTS）大模型的前沿研究与落地，通过研发新一代语音合成底座模型，让游戏NPC具备高度拟人化的性格、情绪和音色，实现与玩家的实时交互
你需要主导从数据构建、模型训练、微调到线上推理优化的全链路工作，并与游戏引擎及策划团队紧密协作，将技术方案转化为实际生产力
最低要求
硕士及以上学历，人工智能、语音合成、语音信号处理、机器学习或相关领域毕业，在语音合成大模型方向有深入理解与丰富实践经验
精通Python与PyTorch生态，熟悉DeepSpeed / Megatron-Core / FSDP等训练框架与vLLM / SGLang等推理框架，深入理解神经音频编解码器（EnCodec / DAC、RVQ分层token）、语义token与声学token建模、声码器（HiFi-GAN / Vocos等）
具备TTS大模型训练与微调经验，掌握分布式训练、混合精度、梯度检查点等工程能力，有实际使用、评测或二次开发业界前沿语音大模型（如CosyVoice、MiniMax Speech、Seed-TTS等）的经验
系统掌握TTS大模型后训练技术栈：SFT、偏好对齐（DPO / IPO / KTO）、强化学习（GRPO / PPO / REINFORCE++），熟悉多奖励强化学习并围绕音色相似度、可懂度、情感表现、韵律等维度构造奖励，能运用ASR / 评测模型作为可验证奖励（RLVR）进行训练与对齐
深入理解模型蒸馏技术：策略蒸馏（OPD）、多教师蒸馏、自蒸馏，能将强教师模型的能力迁移到线上服务的小模型
熟悉TTS数据管线构造：源分离与VAD切分、音质过滤、富转写标注、合成数据生成、数据清洗去重与质量过滤，能围绕音色一致性 / 情绪 / 韵律 / 语言风格设计数据方案并搭建数据飞轮
熟悉TTS评测管线构造：自然度（MOS）、可懂度（CER / WER）、音色相似度（SIM）、韵律与情绪一致性等主客观指标及实时性指标（RTF / 首包时延），能建立端到端评测体系与在线A/B反馈闭环
具备端到端TTS大模型后训练落地经验：完整跑通「数据 → 训练 → 评测 → 上线」全链路，能在实时性与成本约束下最大化语音生成效果
熟悉语音生成线上推理优化：流式合成与低时延推理、KV Cache、量化、多说话人并发服务及零样本音色克隆的高效部署等
具备良好的跨团队沟通能力和技术文档撰写能力，能高效推动技术方案在游戏业务中的落地
工作职责
负责智能NPC对话（语音合成TTS）方向的前沿研究，研发新一代语音合成底座模型，驱动游戏中的智能NPC像真实人物一样与玩家实时交互
研究最新的大模型后训练、蒸馏技术，深入神经音频编解码、语音token化、零样本音色克隆、情感与韵律控制、流式低时延合成等方向，让大模型学会扮演各类游戏NPC角色，拥有高度拟人化的性格、情绪、音色及语言风格，并与玩家实时交互，优化模型线上推理效果
构建NPC语音生成专用数据集，训练和微调大模型，提升生成语音的听觉自然度、音色一致性、可懂度、情绪与韵律表现力，减少人工后期调整，探索多奖励强化学习（RL）、可验证奖励（RLVR）、小模型蒸馏（OPD）等技术，优化生成结果与NPC人物设定的匹配度
与游戏引擎团队协作，确保生成内容可直接在主流引擎（如Unreal）中运行，监控模型在真实场景中的表现，持续迭代优化生成效果和稳定性
与游戏策划、美术、程序团队紧密合作，理解业务需求，将技术方案转化为实际生产力，输出技术文档、专利或论文，推动行业技术标准建设
跟踪语音合成与游戏AI领域最新进展，主动探索新技术在智能NPC场景的落地可能，赋能生态二方游戏项目
AI 洞察
优缺点分析
优点
- 依托丰富的游戏业务场景，研究成果能直接落地于海量用户的产品中，成就感强
- 平台资源雄厚，能够接触到业界顶尖的算力、数据及跨部门优秀的技术团队
- 大模型训练与推理优化对工程能力要求极高，需在实时性与成本约束下平衡效果
- 跨团队协作较多，需要深刻理解游戏策划与美术的业务需求，将技术转化为实际生产力
- 适合在语音合成或大模型领域有深厚积累，且对游戏AI落地有强烈热情的高级算法人才
缺点 / 挑战
- 处于人工智能与游戏结合的最前沿，技术栈极具前瞻性和挑战性
角色解读
- 在技术深度上，可成为语音合成与游戏AI领域的顶尖技术专家，推动行业技术标准建设
- 在业务广度上，可向AI技术总监或游戏AI负责人方向发展，统筹多条产品线的AI赋能
- 负责游戏智能NPC语音合成（TTS）大模型的前沿研究与底座模型研发，让NPC具备拟人化的性格、情绪和音色
- 主导从数据构建、模型训练、微调到线上推理优化的全链路工作，确保模型在真实游戏场景中的低时延与高稳定性
- 与游戏引擎、策划、美术团队跨部门协作，将AI语音技术方案转化为实际的游戏生产力
- 精通Python与PyTorch生态，熟悉DeepSpeed、vLLM等大模型训练与推理框架
- 系统掌握TTS大模型后训练技术栈（SFT、DPO、强化学习等）及模型蒸馏技术
- 具备端到端TTS大模型落地经验，熟悉数据管线、评测体系及线上推理优化（如流式合成、量化等）
申请策略
- 在面试前体验旗下带有智能NPC或高质量语音交互的游戏，思考现有语音技术的痛点与改进空间
- 重点突出在TTS大模型后训练、强化学习（RL/RLVR）及模型蒸馏方面的实际项目经验
- 展示端到端落地能力，包括数据管线搭建、评测体系构建及线上推理优化（如流式合成、低时延部署）
- 列举使用或二次开发业界前沿语音大模型（如CosyVoice、Seed-TTS等）的具体成果
- 深入学习多奖励强化学习及可验证奖励（RLVR）在语音生成中的应用
- 熟悉主流游戏引擎（如Unreal）与AI模型的集成方式，提升跨领域技术视野
面试指南
- 采用STAR法则（情境、任务、行动、结果），重点突出在复杂约束（如实时性、成本）下的技术决策与工程实现
- 在回答算法问题时，先阐述理论原理，再结合具体业务场景说明为何选择该方案，最后用数据指标（如MOS、RTF）证明效果
- 请详细介绍你主导过的一个TTS大模型从数据到上线的全链路项目，遇到了哪些技术瓶颈及解决方案？
- 在TTS大模型后训练中，如何构造多奖励强化学习的奖励函数？如何平衡音色相似度与情感表现力？
- 针对游戏NPC实时交互场景，你在流式合成与低时延推理方面做过哪些优化？
- 如何将强教师模型的能力通过策略蒸馏（OPD）迁移到线上小模型，同时保证生成效果？
- 复习TTS领域的最新论文（如Seed-TTS、CosyVoice等），了解其核心架构与创新点
- 准备1-2个跨团队协作的成功案例，展示如何将技术方案转化为业务价值
职位点评
薪资福利85
成长发展95
工作生活60
使命价值85
薪资福利
85较高
高级研究员岗位薪资处于行业前列，且作为已上市企业，薪酬福利体系完善，稳定性高。
薪资信号偏高 (4.5千–8万/月)
成长发展
95较高
岗位聚焦语音大模型前沿研究，技术栈极具前瞻性，且能直接赋能核心游戏业务，技术与业务双重成长空间巨大。
技术前沿前沿/新兴技术
技术栈Python、PyTorch、TTS、DeepSpeed、vLLM、SFT、DPO、RLVR、OPD
业务类型ambiguous
工作生活
60中等
JD未提及工作模式与加班情况，但大模型高级研究岗通常面临较高的业务交付压力，WLB可能受限。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
致力于让游戏NPC像真实人物一样交互，推动游戏AI技术革新，具有较强的科技探索意义与行业影响力。
行业发展高速增长赛道
社会影响中性/一般
使命信号渴望为世界带来新意、科技的不断革新，最终能带来美好的、撼动人心的改变
创新程度开拓性创新（行业首创）
Watch Jobs