米哈游
【提前批-大模型】通用音频理解大模型研究员
【提前批-大模型】通用音频理解大模型研究员
发布于 大约 15 小时前普通员工/个人贡献者
上海市 / 北京市
高级经验
全职员工
仅现场办公
博士
研究与开发 (研发)
语音识别
PyTorch
多模态
情感分析
分布式训练
大模型
DeepSpeed
音频理解
Audiollm
AI 估算 · 60k–90k
米哈游薪资在行业领先，博士+大模型方向稀缺，综合上海/北京市场，月薪60K-90K合理。
职位详情
关于这个职位
米哈游正在招聘通用音频理解大模型研究员，专注于AudioLLM和Omni多模态框架的研发
你将负责设计大规模分布式训练方案，实现语音、音乐、环境声等多模态音频的统一理解，推动音频AI在理解、生成和交互场景的技术突破
适合对多模态大模型有深厚技术积累的博士及高级研究员
最低要求
计算机科学、人工智能、电子工程等相关博士学历
具备大模型（LLM 或多模态）训练经验，熟悉 Transformer 架构与大规模分布式训练框架（Megatron-LM, DeepSpeed，TorchTitan 等）
深入掌握以下至少一方向：
通用音频自监督表征，如 Best-RQ, CLAP, wav2vec bert2.0 等
音频多模型架构、预训练、后训练以及RL
语音识别/说话人日志/情感识别/音乐信息/检索算法
精通 Pytorch，具备海量数据处理经验
具备跨时区协作与良好沟通能力，结果导向，责任心强
工作职责
模型架构与训练：负责通用音频理解模型设计与分布式训练优化，实现语音识别、说话人日志、情感分析、音频问答、音乐理解、声音事件检测等多任务统一建模
数据管线：设计并落地大规模多模态音频数据 pipeline，完成数据对齐、质量控制与自动标注
跨模态融合：研究音频编码器与大语言模型融合技术，优化跨模态注意力与统一特征表示
优先资格
在 NeurIPS/ICML/ICASSP/ISMIR 等顶级会议发表论文
负责过百万小时级 (或以上) 多类型音频数据管理
拥有音频文本跨模态对齐、指令微调或多任务学习实践
曾核心参与过工业级 Multimodal Foundation Model
AI 洞察
优缺点分析
优点
- 米哈游作为头部游戏公司，资源充足，项目有影响力，技术落地场景丰富
- 从事前沿的AudioLLM和Omni多模态研究，技能积累极快，行业稀缺度高
- 薪资和福利待遇优厚，研发氛围浓厚，有机会发表顶会论文
- 岗位要求极高，需要博士学历和扎实的大模型训练经验，门槛高
- 适合在音频/多模态领域有深厚积累的博士或高级研究员，热爱前沿技术，能接受高强度研究节奏
缺点 / 挑战
- 跨时区协作可能带来工作时间不固定的挑战，需要较强适应能力
- 技术迭代快，需持续学习前沿论文和框架，压力较大
角色解读
- 在音频多模态领域成为技术专家，主导下一代基础模型研发
- 向AI研究团队负责人或首席科学家方向发展，引领技术方向
- 积累顶级会议论文和工业级模型经验，可转向学术界或顶尖AI实验室
- 设计并训练大规模音频理解模型，实现语音、音乐、环境声等多种音频任务的统一建模
- 搭建多模态音频数据流水线，负责数据对齐、质量控制与自动标注
- 研究音频编码器与大语言模型的跨模态融合技术，提升模型在理解、生成和交互场景的表现
- 精通大模型训练框架如 Megatron-LM、DeepSpeed，具备分布式训练经验
- 深入掌握音频自监督表征方法（如 wav2vec 2.0、CLAP）或多模态架构
- 熟练使用 PyTorch，具备海量数据处理能力
- 具备跨时区协作沟通能力，结果导向
申请策略
- 提前了解米哈游在AI领域的布局（如逆熵团队），在面试中展示与公司技术方向的契合度
- 准备一个关于音频理解模型的技术提案，展示系统思维和创新点
- 突出大模型训练经验，尤其是多模态或音频相关项目，列出使用的框架和规模
- 强调会议论文发表经历，特别是 NeurIPS、ICASSP、ISMIR 等顶会
- 展示数据管线搭建能力，包括数据量级和处理流程
- 提及跨模态对齐、指令微调或多任务学习的具体实践成果
- 复习 DeepSpeed 和 Megatron-LM 的分布式训练配置，准备一个端到端的训练案例
- 了解最新的音频自监督方法（如 Best-RQ、wav2vec-BERT）并尝试复现
面试指南
- 结构化回答：先介绍整体方案，再分点说明关键步骤，最后总结经验和教训
- 技术深度结合实践：每个技术点都要有实际案例支撑，突出数据规模和效果
- 展现研究视野：对领域趋势有清晰认知，并能与公司业务结合
- 请描述你设计过的多模态大模型训练流程，遇到过哪些分布式训练挑战？
- 如何在大规模音频数据中做质量控制与自动标注？
- 解释音频自监督学习方法（如 wav2vec 2.0）的原理，并比较不同方法的优劣
- 谈谈你对 AudioLLM 未来发展的看法，以及米哈游可以切入的方向
- 你如何在跨时区团队中高效协作？
职位点评
75
综合评分
前沿技术、高薪机会、强研发导向，但工作强度大、灵活性低。
更适合这类人
最看重技术成长和科研突破的求职者，愿意为前沿研究投入时间和精力。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活50
使命价值70
薪资福利
85较高
米哈游作为头部公司，薪资水平具有竞争力，但JD未明确具体薪资和福利，需在面试中确认。
薪资信号未披露（AI估算：60K-90K/月）
成长发展
95较高
该岗位专注于最前沿的AudioLLM和多模态技术，科研氛围浓厚，技能成长空间极大，且有机会发表顶会论文。
技术前沿前沿/新兴技术
技术栈AudioLLM、多模态、Transformer、分布式训练、语音识别、情感分析、音频理解
业务类型profit_center
工作生活
50较低
明确要求仅现场办公，且跨时区协作可能带来时间压力，工作强度较大。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI音频领域处于高速增长赛道，且米哈游注重技术突破，具有一定社会影响力，但岗位主要面向技术研发，使命感一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs