阿里巴巴
音视频数字人多模态大模型算法研究和应用-阿里星/A Star
音视频数字人多模态大模型算法研究和应用-阿里星/A Star
发布于 大约 5 小时前普通员工/个人贡献者
北京市 / 杭州市
专家级经验
全职员工
仅现场办公
硕士
人工智能
Nlp
Pytorch
Rlhf
Tensorflow
分布式训练
多模态大模型
模型优化
语音合成
语音识别
AI 估算 · 50k–80k
职位详情
关于这个职位
该职位负责端到端多模态语音大模型的核心算法研究，包括语音-语义联合建模、流式推理和情感感知对话，并主导设计面向智能外呼场景的下一代对话系统架构
你将把前沿研究成果落地到日均千万级调用量的工业级系统，同时参与数据与评测体系建设，并在顶级学术会议发表论文
适合对语音和多模态AI有深入研究、追求技术前沿和学术影响力的博士或硕士
最低要求
计算机、电子工程、人工智能等相关专业硕士或者博士学历
在以下一个或多个领域有深入研究经验：
·语音识别（ASR）/ 语音合成（TTS）/ 语音情感识别（SER）
·多模态大语言模型（Multimodal LLM）
·端到端语音对话系统（Spoken Dialogue System）
·自然语言处理（NLP）/ 对话系统（Dialogue System）
在顶级学术会议或期刊发表过高质量论文，包括但不限于：ACL、EMNLP、NAACL、NeurIPS、ICML、ICLR、AAAI、Interspeech、ICASSP等
熟练掌握Python及主流深度学习框架（PyTorch/TensorFlow），具备扎实的工程实现能力
具备优秀的学习能力、独立研究能力和团队协作精神，对用AI技术改变人机交互方式充满热情
工作职责
前沿技术研究：负责端到端多模态语音大模型的核心算法研究，攻克语音-语义联合建模、流式实时推理、情感感知对话等关键技术难题，推动从级联式架构向原生多模态架构的技术范式升级
系统架构设计：主导设计面向智能外呼场景的下一代多模态对话系统架构，实现毫秒级端到端响应、自然话轮切换、实时情感理解等核心能力，重新定义人机语音交互体验
大规模落地实践：将前沿研究成果落地到日均千万级调用量的工业级外呼系统，负责从数据构建、模型训练、效果调优到线上部署的全链路技术方案设计与实施
数据与评测体系建设：主导构建大规模多模态对话数据集与标注体系，设计并建立覆盖语音理解、情感识别、对话质量等维度的系统化评测基准
学术影响力建设：在语音、自然语言处理、多模态等领域顶级学术会议发表高质量论文，参与行业标准制定，提升团队在学术界和产业界的技术影响力
技术创新孵化：探索多模态语音技术在更多创新场景（智能客服、语音助手、数字人、同声传译等）的应用可能，孵化下一代AI交互产品形态
优先资格
有端到端语音大模型相关研究或工程经验（如SpeechGPT、SALMONN、Qwen-Audio、Mini-Omni、GLM-4-Voice等）
有大规模语言模型预训练、指令微调、RLHF等相关经验
有模型推理优化经验（量化、剪枝、蒸馏、投机解码、KV Cache优化等）
有分布式训练经验（DeepSpeed、Megatron-LM、FSDP等）
有知名开源项目贡献经历或顶级AI竞赛获奖经历（Kaggle、天池等）
在顶级会议担任过Reviewer、Area Chair或受邀进行过Tutorial/Keynote分享
有语音/对话方向的产业界实习或工作经验
AI 洞察
优缺点分析
优点
- 处于AI前沿领域，研究多模态大模型，技术含金量高，个人成长快
- 阿里巴巴平台大，资源丰富，可接触大规模工业级应用场景
- 阿里星计划提供高薪和快速晋升通道，职业发展前景好
- 有学术发表机会，可提升个人在学术界和产业界的影响力
- 技术难度高，需要持续学习，保持竞争力
- 竞争激烈，团队内外部人才济济，需要突出成果
- 适合对语音多模态AI有深厚研究背景、热爱技术创新、追求学术与工业结合、抗压能力强的博士或硕士
缺点 / 挑战
- 工作强度大，需要同时兼顾前沿研究和工程落地，压力较大
角色解读
- 在阿里星计划中，可快速成长为技术专家或团队负责人，主导核心算法方向
- 有机会在语音多模态领域建立学术影响力，成为行业领军人物
- 可横向拓展至更多AI应用场景，如智能客服、数字人，甚至孵化新产品
- 研究端到端多模态语音大模型，解决语音-语义联合建模、流式推理等难题，推动技术范式升级
- 设计面向智能外呼场景的对话系统架构，实现毫秒级响应和情感理解，优化人机交互体验
- 将研究成果落地到千万级调用量的工业级系统，负责数据构建、模型训练到部署的全流程
- 构建多模态对话数据集和评测体系，并在顶级学术会议发表论文，提升团队学术影响力
- 扎实的深度学习基础，精通Python和PyTorch/TensorFlow，具备工程实现能力
- 深入理解语音识别、合成、情感识别或多模态大模型等至少一个领域
- 有顶级会议论文发表经验，具备独立研究和创新能力
- 熟悉分布式训练、模型优化（如量化、蒸馏）等技能是加分项
申请策略
- 了解阿里巴巴在语音AI领域的布局，如通义千问系列
- 在面试中展示对技术前沿的热情和独立思考能力
- 突出在语音或多模态领域的论文发表，尤其是顶级会议
- 强调相关项目经验，如端到端语音模型、对话系统等
- 展示工程能力，如分布式训练、模型优化等
- 如有开源贡献或竞赛获奖，务必提及
- 熟悉主流语音大模型，如Qwen-Audio、Mini-Omni等
- 补充RLHF、模型推理优化等技能
面试指南
- 采用STAR法则，突出项目背景、你的贡献、技术难点和成果
- 展示系统设计思维，从数据、模型、部署等角度全面回答
- 结合最新研究进展，体现对前沿技术的了解
- 请介绍你参与的多模态语音模型项目，遇到的技术难点和解决方案
- 如何设计一个面向智能外呼的端到端对话系统？
- 如何评估多模态语音对话系统的质量？
- 谈谈你对语音-语义联合建模的理解和实现思路
- 如何将研究成果落地到工业级系统？
职位点评
77
综合评分
阿里星计划，前沿技术，高薪高压力，适合技术追求者。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该职位最适合追求技术前沿、学术成长和职业发展，且能接受高强度工作的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
阿里巴巴作为上市公司，提供具有竞争力的薪资和福利，但具体薪资未披露，需面议。
薪资信号未披露（AI估算：50K-80K/月）
成长发展
95较高
该职位处于AI前沿，提供顶级学术和工程成长机会，阿里星计划强调培养，发展性极强。
技术前沿前沿/新兴技术
技术栈多模态大模型、语音识别、语音合成、PyTorch、TensorFlow、RLHF、DeepSpeed
成长机会学术影响力建设、技术创新孵化
业务类型profit_center
工作生活
40较低
职位要求现场办公，且未提及弹性工作，可能工作强度较大，生活平衡性一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
AI技术应用广泛，社会影响力较大，但具体使命导向未明确提及。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs