蚂蚁集团
蚂蚁集团-阿福多模态实时交互工程-健康事业群
蚂蚁集团-阿福多模态实时交互工程-健康事业群
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公后端开发
后端开发
Asr
Go
Llm
Tts
Vlm
分布式系统
流式处理
值不值得投
75综合评分
综合评分 75
核心AI工程岗，技术栈前沿且成长空间大，业务兼具商业与社会价值，但工作强度可能较高。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5万
比后端开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 740 个在招 · 其中后端开发 40 个
市场机会
选择面较广
杭州 · 后端开发 · 约 180 个在招
职位详情
关于这个职位
该职位负责蚂蚁集团阿福多模态实时交互系统的工程研发，核心工作包括ASR/TTS语音能力接入、全双工Agent框架建设及实时多模态服务平台搭建
你需要通过优化流式处理与端到端时延，为用户提供专业、有温度的AI健康服务，并与算法、产品团队紧密协作保障项目交付
最低要求
熟练掌握 Java、Go、Python 等至少一门编程语言，具备扎实的计算机基础，熟悉并发编程、异步处理、网络通信及常用设计模式，具有良好的编码习惯
熟悉分布式系统设计及常用数据库、缓存、消息队列，具备高并发服务研发、性能优化和稳定性保障能力，能够独立分析与解决复杂链路中的技术问题
熟悉流式处理、长连接通信及会话状态管理，了解大模型应用与 Agent 的基本原理，能够围绕模型服务接入、上下文管理、工具调用等能力设计并实现工程方案
具备良好的业务理解、问题分析和跨团队协作能力，能够独立推进技术方案落地与项目交付
热爱技术，对 AI、多模态及实时交互技术有持续的好奇心
工作职责
负责 ASR、TTS 等语音能力的工程接入与服务建设，完善流式处理、会话管理及异常恢复机制，持续优化语音服务的响应速度、稳定性与交互体验
负责基于 LLM/VLM 的全双工 Agent 核心框架与服务建设，打通 ASR、模型推理、工具调用与 TTS 的流式链路，支持边听边说、交互打断与恢复、多模态上下文管理及实时任务编排，持续优化交互自然度与端到端响应时延
建设通用的实时多模态 Agent 服务平台，提升核心能力复用与业务接入效率，支撑电话交互、视频问诊等场景的研发与交付
完善全链路观测、评测与调试能力，保障系统在高并发场景下的性能、稳定性与可用性
理解业务与产品目标，制定技术方案、识别技术风险，推动架构与核心能力持续演进
与算法、产品及上下游团队协作，保障项目进度和交付质量
优先资格
有 ASR、TTS、语音助手或全双工语音对话系统的研发与交付经验，熟悉语音活动检测、流式推理、交互打断与恢复及端到端时延优化，了解 WebRTC、SIP、音视频编解码等相关技术
有 LLM/VLM Agent、多模态应用或模型服务平台的研发经验，参与过实时任务编排、全链路观测、评测与调试能力建设
AI 洞察
优缺点分析
优点
- 处于AI大模型与多模态交互的最前沿，能积累极具竞争力的Agent工程化经验
- 大模型技术迭代迅速，需要保持持续学习以跟进最新的Agent架构与优化方案
- 具备扎实后端基础，对AI大模型、语音交互及Agent技术有浓厚兴趣，且抗压能力强的工程师
缺点 / 挑战
- 依托庞大的用户基数与算力资源，能接触到高并发、高可用架构的极致挑战
- 赋能健康事业群，业务具备较高的社会价值与长期发展潜力
- 实时交互系统对延迟和稳定性要求极高，排查和解决复杂链路问题的压力较大
角色解读
- 纵向可成长为多模态实时交互领域的技术专家或架构师，主导核心系统演进
- 横向可向AI健康业务的技术负责人发展，深入理解医疗与大模型结合的商业化落地
- 负责ASR、TTS等语音能力的工程接入，优化流式处理与端到端响应时延
- 建设基于LLM/VLM的全双工Agent核心框架，打通语音、模型推理与工具调用的流式链路
- 搭建通用的实时多模态Agent服务平台，支撑电话交互、视频问诊等AI健康场景落地
- 扎实的编程基础，熟练掌握Java/Go/Python，精通并发编程与分布式系统设计
- 熟悉流式处理、长连接通信及会话状态管理，了解大模型应用与Agent基本原理
- 具备高并发服务研发与性能优化能力，能独立解决复杂链路中的技术问题
申请策略
- 在面试中展现对AI健康业务场景的理解，思考如何通过技术提升用户体验
- 突出高并发分布式系统的设计与优化经验，提供具体的性能提升数据
- 详细描写参与过的流式处理、长连接通信或大模型Agent工程化落地项目
- 若有ASR/TTS或音视频相关开发经验，需作为核心亮点重点展示
- 提前了解全双工语音对话系统、WebRTC及端到端时延优化的相关技术原理
- 深入学习LLM/VLM Agent的实时任务编排、上下文管理及工具调用机制
面试指南
- 采用STAR法则，重点突出在复杂场景下的系统设计思路、遇到的技术瓶颈及最终的量化收益
- 对于架构设计问题，从需求分析、技术选型、核心模块设计、高可用保障及监控观测五个维度展开
- 如何设计一个低延迟、高并发的流式处理系统？请结合具体项目说明
- 在全双工Agent中，如何处理“边听边说”和“交互打断”的工程实现？
- 当模型推理耗时较长时，如何优化端到端的响应时延和交互自然度？
- 描述一次你解决过的最复杂的分布式系统链路问题，你是如何排查和优化的？
- 复习分布式系统、并发编程及网络通信的核心知识，准备2-3个高并发优化的实战案例
- 了解当前主流的大模型Agent框架及其在实时交互中的局限性与优化方案
职位点评
薪资福利85
成长发展90
工作生活40
使命价值75
薪资福利
85较高
岗位技术门槛高，属于核心AI工程研发，结合公司的薪酬体系，薪资竞争力强。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
90较高
涉及大模型、多模态Agent等前沿技术，能接触到高并发与实时交互的极致工程挑战，技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈ASR、TTS、LLM、VLM、全双工Agent、流式处理、分布式系统
业务类型ambiguous
工作生活
40较低
JD未提及工作模式与WLB相关信息，但核心系统研发与高并发保障通常伴随较高的工作强度。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
岗位服务于AI健康事业群，致力于提供专业、有温度的AI健康服务，具备较好的社会价值与意义感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号获得专业、有温度的 AI 健康服务
创新程度积极采用新技术
Watch Jobs