哔哩哔哩
资深多模态大模型算法工程师（音频方向）
资深多模态大模型算法工程师（音频方向）
发布于 7 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Asr
Deepspeed
Diffusion
Flow Matching
Gan
Megatron
Pytorch
Rl
Sft
值不值得投
80综合评分
综合评分 80
头部视频平台核心大模型算法岗，技术前沿、成长空间大，薪资竞争力强，但工作节奏较快。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 810 个在招 · 其中机器学习工程 33 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 370 个在招
职位详情
关于这个职位
该职位负责音频基础大模型的预训练、微调与对齐，优化语音生成与理解能力，并推动传统语音算法与大模型的融合
你需要构建高质量音频数据集，跟进前沿多模态技术，是B站AI音频技术团队的核心研发力量
最低要求
熟悉pytorch/megatron/deepspeed/verl 等大模型训练框架，掌握大模型训练、微调、推理的完整工程流程
熟悉大模型基础范式，掌握pertaining，sft, on-policy learning, reinforcement learning等训练范式，熟悉Diffusion, Flow Matching, GAN等生成模型的原理
有较强的coding及vibe coding能力，面对各项变化中的任务能快速交付
具备良好的逻辑思维、问题拆解能力，能独立攻克算法难点，具备团队协作和沟通能力
很强的求知欲和好奇心，持续学习的能力和动力
工作职责
负责端到端音频大模型的预训练、SFT监督微调、RL对齐全流程研发，优化语音音频生成、理解，指令遵循等核心能力
音频大模型基建迭代，负责ASR、TTS、语音降噪、说话人日志、语音情感分析等传统语音算法与大模型的融合升级
数据构建与迭代：负责语音音频类专属数据集的采集、清洗、筛选、标准、质检，构建音频预训练语料、偏好对齐数据集、场景专项微调数据集，持续迭代数据体系提升模型泛化能力
技术调研与创新：跟进国内外音视频大模型、全模态理解大模型等前沿技术，实现新技术、新方案，推动团队算法体系升级
优先资格
在语音/大模型领域发表过有影响力的代表作
有顶会成果：在NeurIPS、ICLR、ICML、ICASSP、INTERSPEECH、ACL等会议以第一作者身份发表语音/大模型相关论文
有影响力的开源项目
AI 洞察
优缺点分析
优点
- 依托B站丰富的音视频场景，拥有海量高质量数据与算力资源
- 接触最前沿的多模态大模型技术，技术壁垒高，个人成长空间大
- 上市公司平台稳定，技术团队实力强，业务场景落地机会多
- 大模型训练与对齐技术迭代极快，需保持高强度的持续学习与跟进
- 适合具备扎实大模型训练经验、对语音/音频技术有浓厚兴趣，且追求在前沿AI领域深耕的资深算法人才
缺点 / 挑战
- 音频与多模态交叉领域技术难度大，攻克算法难点具有较高的挑战性
角色解读
- 可向多模态大模型算法专家、音频技术负责人方向发展
- 在AI前沿技术领域持续深耕，成为行业顶尖的算法科学家
- 负责音频基础大模型的预训练、SFT微调与RL对齐，优化语音生成与理解的核心能力
- 推动ASR、TTS、语音降噪等传统语音算法与大模型的融合升级
- 构建并迭代高质量的语音音频数据集，包括预训练语料与偏好对齐数据集
- 熟练掌握PyTorch/Megatron/DeepSpeed等大模型训练框架及完整工程流程
- 精通预训练、SFT、RL等训练范式及Diffusion、Flow Matching等生成模型原理
- 具备优秀的代码能力、问题拆解能力以及快速交付能力
申请策略
- 了解B站在AI音频、虚拟人、语音交互等方面的业务布局，准备相关的技术思考与落地方案
- 突出在大模型预训练、SFT、RL对齐方面的实际项目经验与业务成果
- 强调在ASR、TTS等语音算法与大模型融合方面的落地经验
- 展示顶会论文（如NeurIPS、ICLR等）或高星开源项目等硬核技术背书
- 深入学习Megatron/DeepSpeed等分布式训练框架的底层原理与性能调优技巧
- 关注Flow Matching、Diffusion在音频生成领域的最新学术进展与工程实践
面试指南
- 采用STAR法则（情境、任务、行动、结果），重点突出技术深度、问题解决思路和最终的业务/模型指标提升
- 请详细介绍你在音频大模型预训练或RL对齐中遇到的最大技术挑战及解决方案？
- 如何将传统语音算法（如ASR/TTS）与大模型进行有效融合？
- 在分布式训练框架（如Megatron/DeepSpeed）中，你做过哪些性能优化？
- 针对语音音频数据集的构建与清洗，你有哪些系统性的方法论？
- 复习大模型训练范式（SFT, RLHF, DPO等）及音频生成模型（Diffusion, Flow Matching）的核心原理
- 准备1-2个自己主导的复杂算法攻坚项目案例，梳理清楚技术选型与优化细节
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
资深大模型算法岗在一线城市属于高薪岗位，上市公司提供具有竞争力的薪酬与福利。
薪资信号未披露（AI估算：4千–7万/月）
成长发展
90较高
岗位聚焦前沿多模态大模型技术，提供丰富的算力与数据资源，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈PyTorch、Megatron、DeepSpeed、Verl、ASR、TTS、Diffusion、Flow Matching、GAN、SFT、RL
成长机会技术调研与创新、推动团队算法体系升级
业务类型profit_center
工作生活
60中等
资深算法岗通常工作节奏较快，JD未明确提及WLB或弹性办公，需做好应对高强度研发的准备。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
推动多模态大模型与音视频技术的创新，具有较高的技术成就感与行业影响力。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
哔哩哔哩 的其他在招职位
相似职位推荐
Watch Jobs