阿里巴巴
ATH事业群-语音交互前沿算法工程师-语音交互
ATH事业群-语音交互前沿算法工程师-语音交互
发布于 大约 1 小时前普通员工/个人贡献者
人工智能
Deepspeed
Qwen-Omni
Rlhf
Vllm
分布式训练
大模型
强化学习
语音交互
Moshi
AI 估算 · 50k–80k
职位详情
关于这个职位
该职位是阿里巴巴云智能集团ATH事业群的核心算法研发岗，专注于语音交互与全模态大模型（Omni）的前沿技术，打造行业领先的全双工语音交互能力
你将深入参与MaaS业务，负责对话管理、端到端对话质量、强化学习策略、推理优化等核心工作，推动AI-Native交互范式的定义
适合对语音交互和强化学习有深厚兴趣、追求技术前沿的算法专家
最低要求
计算机、人工智能、语音信号处理等相关专业硕士/博士学位，在对话系统、语音交互等领域具备扎实的理论基础
实战经验与工程能力：
● 掌握Megatron-LM/DeepSpeed等训练框架，具有大模型分布式训练经验
掌握 vLLM/vLLM-Omni/SGLang/TensorRT/Triton等推理框架，了解 KV Cache 管理、Continuous Batching、量化、投机解码等技术
● 具有丰富的对话系统/语音对话/全双工交互方向算法经验
● 扎实的大模型基础，熟悉LLM的训练与微调全流程，在 SFT/RL/OPD 等方向有深入的实践经验
● 熟悉主流语音端到端模型如Moshi及全模态大模型（如 Qwen-Omni等）架构
● 有对话策略（谈判、共情、施压等）或强化学习对齐（RLHF / RLVR / AgenticRL）的实战经验
● 对 AI 云产品和行业智能化升级有强烈兴趣，能将算法创新与客户业务痛点紧密结合，具备优秀的跨团队协作与项目推进能力
工作职责
全双工对话管理：构建"边听边说"场景下的对话决策能力，包括开口时机判断、话轮承接与打断策略、静默与让步控制等，实现自然流畅的人机对话体验
语音端到端对话质量攻关：在多模态融合架构下保持并提升大模型的对话智商与情商，解决流式语音生成、模态对齐与业务能力落地等核心问题
对话策略能力构建：通过强化学习（RLHF / RLVR / AgenticRL 等）提升模型在复杂对话场景中的策略能力，包括谈判博弈、施压引导、情绪感知与回应等，使模型在不同业务场景中具备"会说话"的能力
训练和推理框架的深度使用：掌握vLLM/vLLM-Omni/SGLang/TensorRT/Triton 等推理引擎的使用与优化，基于 Megatron/DeepSpeed/veRL/ROLL 等框架，结合语音与 Omni 模型特点定制化改造与优化
训练数据与模型迭代：参与训练数据构建、模型微调（SFT / RLHF / RLVR / AgenticRL 等）及线上效果的持续迭代，形成数据飞轮驱动的模型持续进化能力
优先资格
● 有全双工/流式语音对话系统的实际项目经验，熟悉WebSocket/WebRTC等通信协议
● 在语音多模态端到端模型方向有论文或工程产出，在相关顶会发表论文（NeurIPS / ICLR / ACL / ICASSP / Interspeech）
● 在LLM/TTS/Omni等模型的训练和推理上，能结合模型特点做定制化改造与性能调优
AI 洞察
优缺点分析
优点
- 阿里云平台提供真实业务场景和海量数据，技术落地机会多
- 前沿技术方向（全双工语音、Omni模型），处于行业创新前沿
- 公司平台大，资源丰富，有顶会论文发表机会
- 技术难度高，需要同时掌握语音、NLP、强化学习等多领域知识
- 竞争激烈，需要持续学习新技术，保持领先
缺点 / 挑战
- 工作强度可能较大，互联网大厂节奏快，需适应高压力环境
- 适合对语音交互和强化学习有深厚兴趣、技术功底扎实、追求前沿挑战的算法工程师
角色解读
- 在阿里云MaaS业务中，可成长为语音交互领域的顶尖算法专家，主导核心模型研发
- 有机会晋升为技术团队负责人，带领团队探索AI-Native交互范式
- 技术积累可向多模态大模型、AGI方向延伸，成为行业领军人物
- 负责全双工语音交互系统的算法研发，包括对话管理、打断策略等，实现自然流畅的人机对话
- 优化语音端到端对话质量，解决多模态融合下的流式语音生成和模态对齐问题
- 应用强化学习（RLHF/RLVR）提升模型在复杂对话场景中的策略能力，如谈判、共情等
- 深度使用和优化训练推理框架（如vLLM、DeepSpeed），定制化改造以适应语音和Omni模型
- 扎实的计算机、AI或语音处理专业背景，硕士或博士学历
- 精通大模型训练和推理框架，如Megatron、DeepSpeed、vLLM等，有分布式训练经验
- 熟悉语音端到端模型（如Moshi）和全模态大模型（如Qwen-Omni）架构
- 有强化学习对齐（RLHF/RLVR）或对话策略的实战经验
申请策略
- 了解阿里云MaaS业务和Token Hub事业群的方向，在面试中展现业务理解
- 准备一个完整的项目案例，展示从问题定义到落地的全过程
- 突出语音对话或全双工交互项目的实际经验，量化成果
- 强调大模型训练和推理框架的使用经验，如DeepSpeed、vLLM
- 展示强化学习（RLHF/RLVR）的实战案例，包括策略设计和效果提升
- 如有顶会论文，务必列出，这是重要加分项
- 深入学习vLLM-Omni、SGLang等推理框架的源码，掌握优化技巧
- 补充强化学习最新进展，如AgenticRL、RLVR等
面试指南
- 使用STAR法则：情境、任务、行动、结果，清晰展示项目经验
- 强调技术深度和业务结合，说明技术如何解决实际问题
- 展现学习能力和创新思维，提及对前沿技术的跟踪
- 请介绍你在全双工语音对话系统中的具体工作，如何实现打断策略？
- 如何优化vLLM推理引擎以支持流式语音生成？
- 在RLHF中如何处理奖励模型的设计和训练？
- 如何解决多模态融合中的模态对齐问题？
- 请谈谈你对AI-Native交互范式的理解
职位点评
76
综合评分
阿里云前沿语音交互算法岗，技术前沿、薪资优厚，但工作强度大，适合技术狂热者。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该职位最适合追求技术成长和行业影响力的求职者，愿意接受高强度工作以换取前沿技术积累。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展95
工作生活40
使命价值85
薪资福利
80较高
阿里巴巴作为上市巨头，薪资水平具有竞争力，福利完善，但具体薪资未在JD中披露，需面议。
薪资信号未披露（AI估算：50K-80K/月）
成长发展
95较高
该职位处于语音交互和全模态大模型的前沿，技术挑战大，成长空间广阔，且公司提供丰富的资源和平台。
技术前沿前沿/新兴技术
技术栈语音交互、全双工、大模型、强化学习、RLHF、vLLM、DeepSpeed、Qwen-Omni、Moshi
业务类型profit_center
工作生活
40较低
工作地点在杭州，需现场办公，未提及弹性工作或远程，且大厂高强度工作可能影响工作生活平衡。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
该职位致力于定义下一代AI-Native交互范式，推动行业智能化升级，具有较高的社会价值和行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs