米哈游
【提前批-大模型】多模态Pretrain研究员（audio方向）
【提前批-大模型】多模态Pretrain研究员（audio方向）
发布于 大约 15 小时前普通员工/个人贡献者
上海市 / 北京市
专家级经验
全职员工
仅现场办公
博士
研究与开发 (研发)
PyTorch
强化学习
多模态
分布式训练
大模型
语音交互
Megatron-LM
DeepSpeed
指令微调
AI 估算 · 30k–60k
博士学历+大模型前沿领域，薪资竞争力强，月薪3-6万。
职位详情
关于这个职位
该职位是米哈游的大模型多模态Pretrain研究员，专注于音频方向
你将设计Any-to-Any统一架构，研发神经音频编解码器，并负责超大规模多模态数据的分布式预训练，探索指令微调与强化学习在语音交互中的应用
适合对多模态大模型和音频生成有深入研究的博士级人才
最低要求
计算机科学、人工智能、电子工程等相关博士学历
具备大模型（LLM 或多模态）训练经验，深入理解 Transformer 架构及分布式训练框架（Megatron-LM, DeepSpeed, TorchTitan等）
深入掌握以下至少一方向：
Audio/Text Interleaved Pretraining
Multimodal Alignment & RL
End-to-End Speech Dialogue Modeling
精通 Pytorch，具备海量数据处理经验
具备跨时区协作与良好沟通能力，结果导向，责任心强
工作职责
设计并研发输入输出任意模态（Any-to-Any）的统一架构，重点攻克 Audio-in-Audio-out 的原生建模
研发高性能的神经音频编解码器（Neural Audio Codec），探索连续表征与离散 Token 的最优平衡
利用海量多模态数据（语音、音乐、环境音、视频），负责超大规模参数模型的分布式预训练
探索针对音频模态的指令微调与强化学习算法，优化模型在语音交互中的情感表达、打断机制、副语言（笑声、停顿）以及听感质量
优先资格
在 NeurIPS/ICML/ICASSP/ISMIR 等顶级会议发表论文
负责过百万小时级 (或以上) 多类型音频数据管理
曾核心参与过工业级 Omni / Multimodal Foundation Model
AI 洞察
优缺点分析
优点
- 米哈游为自研游戏巨头，资金充足，技术投入大
- 多模态大模型是AI前沿热点，技能积累价值高
- 北京上海双地点可选，地理位置灵活
- 博士学历是硬性要求，门槛高
- 大模型训练对硬件资源需求高，工作强度可能较大
- 跨时区协作需适应异步沟通
- 适合在音频/多模态方向已有深厚积累的博士研究员，渴望参与工业级前沿大模型研发
缺点 / 挑战
- 涉及超大规模分布式训练，技术挑战性强，成长快
角色解读
- 成长为多模态大模型领域的资深研究员，主导核心算法方向
- 未来可向团队技术负责人或首席科学家方向发展
- 可横向拓展至其他模态（视频、3D）或通用人工智能研究
- 设计并研发任意模态输入输出的统一架构，重点攻克音频原生建模
- 研发高性能神经音频编解码器，平衡连续表征与离散Token
- 利用海量多模态数据，进行超大规模参数模型的分布式预训练
- 探索音频模态的指令微调与强化学习，优化语音交互的情感表达和听感质量
- 博士学历，计算机、人工智能或电子工程相关背景
- 精通大模型训练，深入理解Transformer及分布式框架（Megatron-LM, DeepSpeed）
- 掌握音频/多模态预训练、对齐或端到端语音对话建模至少一个方向
- 熟练使用Pytorch，具备海量数据处理经验
申请策略
- 展示对音频生成质量（情感、打断）的深入理解
- 提前了解米哈游的游戏业务，思考AI与游戏的结合点
- 突出大模型训练经验，特别是多模态或音频相关项目
- 详细描述分布式训练框架（Megatron-LM, DeepSpeed）的使用经历
- 列出顶级会议论文（NeurIPS, ICML等），体现研究能力
- 强调海量数据管理经验，如百万小时级音频数据
- 预习Neural Audio Codec和Any-to-Any架构的最新论文
- 熟悉RLHF在语音交互中的应用，尝试复现相关模型
面试指南
- 对于技术问题，采用STAR法则：场景、任务、行动、结果
- 对于架构选型，对比不同方案的优缺点，结合任务给出推荐
- 结合自身项目经验，具体说明如何优化训练效率或模型性能
- 请描述你在多模态预训练中遇到的主要挑战及解决方案
- 对比Transformer和Mamba架构在音频建模上的优劣
- 如何设计一个高效的神经音频编解码器？
- 在分布式训练中如何处理数据倾斜和通信瓶颈？
- 请谈谈你对Audio-in-Audio-out原生建模的理解
职位点评
69
综合评分
顶级游戏公司，前沿多模态大模型方向，薪资有竞争力，但工作强度可能较高。
更适合这类人
最看重技术成长和前沿研究机会，对工作强度有一定承受力的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展95
工作生活40
使命价值70
薪资福利
70中等
薪资面议但公司盈利能力强，预计薪酬具有竞争力。JD未提及具体福利。
薪资信号面议 (30K-60K/月)
成长发展
95较高
前沿技术栈（大模型、多模态），参与工业级核心研发，成长空间极大。
技术前沿前沿/新兴技术
技术栈大模型、多模态、Audio、Neural Audio Codec、Transformer、Megatron-LM、DeepSpeed、分布式训练、指令微调、强化学习
业务类型profit_center
工作生活
40较低
仅现场办公，北京上海市区，JD未提WLB，推测工作强度较高。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
游戏行业增长稳健，AI技术推动创新，但社会影响力中性。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs