阿里巴巴
Token Foundary事业部-多模态通用音频大模型算法工程师/专家-未来生活实验室
Token Foundary事业部-多模态通用音频大模型算法工程师/专家-未来生活实验室
发布于 大约 1 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Deepspeed
Dit
Flow Matching
Mllm
Pytorch
多模态学习
大模型
音色克隆
音频理解
值不值得投
71综合评分
综合评分 71
大厂前沿音频大模型岗位，技术驱动，薪资可观，但工作强度可能较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
50K
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1630 个在招 · 其中人工智能 91 个
市场机会
选择面较广
杭州 · 人工智能 · 97 个在招
职位详情
关于这个职位
该职位负责音频生成与理解大模型的研发，包括文生音频、音色克隆、多模态联合理解等，涉及大规模数据构建和工程落地
你将参与前沿技术探索并推动音频大模型在业务场景中的应用
适合有音频生成或多模态大模型经验、热爱技术挑战的算法工程师
最低要求
学历经验：硕士及以上，1年以上音频/语音/音乐生成大模型研发经验
核心技术：精通音频生成算法，对DiT、Flow Matching、MLLM、vocoder等技术有自己的理解和实操经验
底层技术：熟悉音频表征（HuBERT/WavLM等）及高音质编解码方案（EnCodec/DAC等），对音质敏感
工程与科研：Python/C++ 基础扎实，熟练使用 PyTorch/DeepSpeed
(注：满足以上任意3项即可)
工作职责
负责音频生成大模型研发（文生音频、音频编辑、音色克隆、音效合成等），产出高保真、可控的生成方案并推动落地
研发音频理解大模型，构建跨模态（文本、图像、视频与音频联合）的细粒度音频内容描述体系
搭建大规模多源通用音频数据集（音乐、语音、环境声等），支撑模型持续迭代
推动音频大模型在业务场景中落地，解决推理效率、可控性、实时性等工程问题
跟进行业前沿，保持团队在通用音频大模型领域的技术领先
优先资格
多模态能力：有 AudioLDM、MusicGen、Qwen-Audio 等多模态音频大模型开发经验者优先
（另外）有 ICASSP/Interspeech 顶会论文或乐理/声学背景者加分
AI 洞察
优缺点分析
优点
- 阿里巴巴平台大，资源丰富，有利于开展前沿研究
- 音频大模型是热门方向，技术成长空间大
- 团队可能由顶尖人才组成，学习氛围浓厚
- 技术难度高，需要同时掌握生成模型、多模态、工程优化等多方面知识
- 工作强度可能较大，大厂节奏快，需要快速产出结果
- 竞争激烈，需要持续学习和跟进最新论文
缺点 / 挑战
- 适合对音频AI充满热情、具备扎实算法功底、喜欢挑战前沿技术并愿意接受高强度工作的算法工程师
角色解读
- 从算法工程师成长为音频大模型领域的专家，参与顶会论文发表
- 有机会带领团队或主导技术方向，晋升技术专家或技术管理岗
- 跨领域拓展，结合多模态技术深入更多业务场景
- 负责音频生成大模型（如文生音频、音色克隆）的算法研发与优化
- 构建跨模态音频理解模型，建立细粒度内容描述体系
- 搭建大规模多源音频数据集，并推动模型在业务中的落地与工程优化
- 精通音频生成算法，熟悉DiT、Flow Matching、MLLM等主流模型结构
- 熟悉音频表征与编解码方案，如HuBERT、EnCodec等，对音质敏感
- 扎实的Python/C++编程能力，熟练使用PyTorch/DeepSpeed分布式训练
- 具有多模态大模型开发经验者优先
申请策略
- 了解阿里巴巴未来生活实验室的研究方向和产出，在面试中展示与你背景的契合度
- 准备一个完整的音频生成或理解项目案例，用数据说明效果
- 突出音频/语音相关的项目经历，特别是生成模型或大模型训练经验
- 强调对DiT、Flow Matching等技术的实际理解和应用场景
- 展示工程能力，如PyTorch、DeepSpeed使用经验，以及多模态数据处理能力
- 如有顶会论文或音乐、声学背景，务必突出
- 如果对特定技术不熟悉，可以快速学习DiT、Flow Matching等最新生成模型
- 动手实践音频编解码和表征模型，提升对音质的敏感度
面试指南
- 先讲背景和任务，再讲你的技术选型和落地效果，最后总结遇到的挑战和解决方式
- 对于技术比较，从原理、效果、计算复杂度等维度对比，并结合实际经验说明
- 对于开放性问题，给出你的思考框架，并联系实际应用场景
- 请详细介绍你参与的一个音频生成项目，使用了什么模型结构，如何优化音质？
- 你对Diffusion和Flow Matching在音频生成中的区别和优势有什么理解？
- 如何评估生成音频的质量？你用过哪些客观指标或主观评测？
- 如果要在实时场景中部署音频大模型，你会从哪些方面优化推理效率？
- 你如何看待多模态音频大模型的发展趋势？
职位点评
薪资福利70
成长发展85
工作生活55
使命价值65
薪资福利
70中等
该职位未披露具体薪资，但阿里巴巴作为大厂通常提供具有竞争力的薪酬和福利，整体补偿水平较好。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
85较高
职位聚焦前沿音频大模型技术，涉及生成模型、多模态和分布式训练，技术成长空间大，发展性动机得到较好满足。
技术前沿前沿/新兴技术
技术栈DiT、Flow Matching、MLLM、PyTorch、DeepSpeed、HuBERT、WavLM、EnCodec、DAC、AudioLDM、MusicGen、Qwen-Audio
业务类型ambiguous
工作生活
55较低
工作地点在北京/杭州，需现场办公，JD未提及弹性工作或远程，大厂节奏可能影响工作生活平衡。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
65中等
音频大模型是生成式AI重要方向，有一定社会影响力，但JD未强调使命感和价值导向，意义感一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs