阿里巴巴
Token Foundry-AI交互模型算法专家-北京/杭州
Token Foundry-AI交互模型算法专家-北京/杭州
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Pytorch
Vlm
大模型后训练
模型压缩
端侧部署
音频信号处理
双工交互
多模态交互模型
语音基础模型
值不值得投
77综合评分
综合评分 77
核心算法岗，聚焦多模态大模型与端侧AI前沿技术，薪资优厚、技术成长空间极大，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
5万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2990 个在招 · 其中人工智能 约 330 个
市场机会
选择面较广
杭州 · 人工智能 · 约 400 个在招
职位详情
关于这个职位
该职位负责面向AI手机等ToB场景的多模态交互模型研发，涵盖语音基础模型、视觉-语言模型及全模态大模型的后训练与推理优化
你需要研发端侧音频信号处理算法，构建实时双工交互模型，并针对端侧资源约束进行模型压缩与高效部署，推动算法从原型到大规模商用落地
最低要求
计算机、人工智能、电子工程等相关专业硕士及以上学历，3年以上AI模型或音频算法研发经验
在以下至少两个方向有扎实实践：①基于神经网络/Diffusion/LLM的语音信号处理（增强、降噪、语音修复等）
②语音大模型、视觉-语言模型（VLM）或全模态（Omni）大模型的后训练（CPT/SFT/RL）
③双工交互核心技术：VAD、打断检测（Barge-in）、语义判停、流式响应
熟练掌握PyTorch，具备大模型训练、调优及端侧部署经验
具备良好的工程能力、产品意识和跨团队协作精神，能平衡性能、延迟与功耗
工作职责
负责面向AI手机等ToB场景的多模态交互模型研发，包括语音基础模型、视觉-语言模型（VLM）、全模态大模型的后训练（CPT/SFT/RL）与推理优化
研发基于神经网络、扩散模型或大模型的端侧音频信号处理算法（如语音增强、降噪、去混响），提升复杂声学环境下的语音交互质量
构建支持自然打断、精准判停、上下文感知的实时双工交互模型，实现低延迟、高鲁棒性的流式对话体验
针对端侧资源约束，开展模型压缩、量化、蒸馏及高效部署，确保算法在DSP/NPU等嵌入式平台稳定运行
与系统、产品团队紧密协作，推动算法从原型验证到大规模商用落地
优先资格
有AI手机、IoT等智能终端项目落地经验，熟悉ARM/DSP/NPU架构者加分
AI 洞察
优缺点分析
优点
- 接触行业最前沿的多模态大模型与端侧AI技术，技术壁垒高
- 依托丰富的智能终端生态（如AI手机、IoT），算法落地场景广阔
- 平台资源充足，能与顶尖的系统、产品团队协作，推动技术大规模商用
- 大模型后训练与端侧部署涉及全链路优化，工程落地难度高，需具备极强的跨领域整合能力
- 适合具备扎实大模型与音频算法基础，对端侧AI部署有浓厚兴趣，且渴望在智能终端多模态交互领域深耕的算法工程师
缺点 / 挑战
- 端侧资源约束严格，需在性能、延迟与功耗之间寻找极致平衡，技术挑战大
角色解读
- 从算法专家向多模态交互领域的技术架构师或首席科学家发展
- 深入端侧AI部署与优化，成为智能终端AI落地的核心技术骨干
- 带领团队攻克大模型在资源受限设备上的落地难题，向技术管理或业务负责人转型
- 负责AI手机等ToB场景的多模态交互模型研发，涵盖语音、视觉-语言及全模态大模型的后训练与推理优化
- 研发端侧音频信号处理算法，构建低延迟、高鲁棒性的实时双工交互模型
- 针对端侧资源约束进行模型压缩与高效部署，推动算法在智能终端的大规模商用落地
- 扎实的多模态大模型后训练（CPT/SFT/RL）及语音信号处理算法能力
- 熟练掌握PyTorch，具备大模型训练、调优及端侧（DSP/NPU）部署经验
- 熟悉双工交互核心技术（VAD、打断检测、流式响应），能平衡性能、延迟与功耗
申请策略
- 了解公司在AI手机及IoT生态的最新布局，思考算法如何赋能具体硬件产品
- 准备好展示你如何平衡模型性能、延迟与功耗的工程思维
- 突出在大模型后训练（CPT/SFT/RL）或语音信号处理（降噪、增强）方面的具体项目与指标提升
- 详细展示端侧部署经验，特别是模型压缩、量化、蒸馏及在ARM/DSP/NPU上的落地成果
- 强调在双工交互（VAD、打断检测）或流式响应优化方面的实际落地案例
- 深入学习大模型在端侧的轻量化部署技术，如最新的量化算法和NPU适配优化
- 关注多模态交互领域的最新论文（如Omni模型、实时双工对话），保持技术敏锐度
面试指南
- STAR法则：情境（端侧资源限制/复杂声学环境） -> 任务（提升交互质量/降低延迟） -> 行动（采用特定量化策略/设计特定网络结构） -> 结果（具体指标提升/成功商用）
- 技术深度+工程落地：不仅讲算法原理，更要强调在真实硬件（DSP/NPU）上的适配、功耗控制和延迟优化
- 请详细介绍你在多模态大模型后训练（CPT/SFT/RL）中解决过的最复杂的技术问题
- 在端侧资源受限的情况下，你是如何进行模型压缩和量化以保证推理速度的？
- 如何设计一个支持自然打断和精准判停的实时双工交互系统？
- 在复杂声学环境下，你的语音增强/降噪算法取得了哪些具体指标的提升？
- 复习大模型后训练（RLHF/DPO等）及端侧部署（TensorRT、NCNN、MNN等）的核心原理与最新进展
- 准备1-2个端到端的项目案例，能够清晰阐述从算法原型到嵌入式平台稳定运行的全过程
职位点评
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
算法专家岗位，薪资具备较强市场竞争力，且整体薪酬福利体系完善。
薪资信号偏高 (3.5千–6.5万/月)
成长发展
95较高
岗位聚焦多模态大模型后训练与端侧AI部署，属于当前AI领域最前沿、最具挑战性的技术方向，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈多模态交互模型、VLM、大模型后训练、CPT/SFT/RL、PyTorch、扩散模型、模型压缩、量化、蒸馏
业务类型profit_center
工作生活
40较低
JD未提及工作模式与WLB相关信息，但算法研发及端侧落地通常面临较高的项目交付压力，工作强度可能较大。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
推动多模态AI技术在智能终端的商用落地，能够显著提升用户的语音交互体验，具有较强的产品价值与科技使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs