小米
多模态算法工程师
多模态算法工程师
发布于 2 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Pytorch
信号处理
多模态融合
深度学习
计算机视觉
语音分离
值不值得投
72综合评分
综合评分 72
智能座舱多模态算法实习岗，前沿技术栈、学术与工程双重成长，薪资符合实习市场标准。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
6千
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 5770 个在招 · 其中机器学习工程 49 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 470 个在招
职位详情
关于这个职位
该职位主要负责多模态语音分离算法的研究与创新，针对车载座舱场景设计融合算法，并搭建多模态数据处理与全链路Pipeline
适合对语音分离、多模态融合及深度学习感兴趣的在读本硕学生，有机会产出学术论文
最低要求
学历背景：计算机、信号处理、电子工程、人工智能等相关专业本科或硕士在读
熟悉深度学习基础，了解常见神经网络结构（如CNN、RNN、Transformer）
具备语音/音频处理基础，了解信号处理经典方法（如波束成形、时频分析）
掌握Python编程，熟悉至少一种深度学习框架（PyTorch/TensorFlow）
工作职责
多模态语音分离算法研究与创新：
a. 系统调研语音分离、多模态融合领域顶会顶刊最新进展，梳理基于唇语、人脸关键点、说话人表征的多模态语音分离技术路线
b. 复现 3-5 个主流多模态语音分离基线模型（如 Audio-Visual Speech Separation 系列、Lip2Speech 融合方案等），建立统一的训练、评估基准
c. 座舱场景算法创新与优化:针对车内强背景噪声、多路麦克风阵列、多乘员同时说话、人脸姿态多变等特有挑战，设计适配座舱场景的多模态融合语音分离算法
d. 学术论文产出，整理算法创新成果，撰写符合学术会议 / 期刊规范的研究论文
配合完成实验补充、论文修改与投稿相关工作
多模态数据收集整理与全链路 Pipeline 搭建，包括开源多模态数据集 Pipeline、视觉特征提取链路 Pipeline、座舱实车数据处理 Pipeline
优先资格
有多模态学习、音频分离、计算机视觉相关项目或研究经验
熟悉音频生成、声源定位、视觉辅助语音分离（如唇动识别）等技术
发表过相关领域论文或竞赛获奖经历
AI 洞察
优缺点分析
优点
- 依托真实车载座舱场景，算法落地价值高，能积累丰富的工程与学术经验
- 接触多模态融合前沿技术，有机会发表高质量学术论文，提升行业竞争力
- 需要兼顾算法研究、Pipeline搭建与论文撰写，对时间管理和多任务处理能力要求高
- 适合对多模态AI、语音分离有浓厚兴趣，且具备一定科研能力和代码落地能力的计算机/信号处理专业在读本硕学生
缺点 / 挑战
- 座舱场景噪声复杂、多乘员干扰大，算法设计与优化难度较高
角色解读
- 从算法实习生成长为独立负责座舱语音交互核心算法的正式工程师
- 积累顶会论文发表经验，向多模态AI研究员或算法专家方向发展
- 研究并创新多模态语音分离算法，针对车载座舱复杂噪声环境设计融合方案
- 搭建多模态数据处理与全链路Pipeline，复现主流基线模型并建立评估基准
- 产出学术论文，将算法创新成果转化为顶会/顶刊论文并投稿
- 扎实的深度学习基础，熟悉CNN、RNN、Transformer等网络结构
- 掌握Python及PyTorch/TensorFlow框架，具备语音/音频信号处理基础
- 了解多模态学习、计算机视觉及音频分离相关技术
申请策略
- 提前了解智能座舱语音交互的相关产品与技术布局，面试时展现对业务的理解
- 突出在多模态学习、语音/音频处理或计算机视觉领域的项目经验与研究成果
- 展示复现过的主流模型及搭建的Pipeline，体现扎实的代码能力与工程落地经验
- 若有相关领域的论文发表或竞赛获奖经历，务必在简历中重点展示
- 深入学习Audio-Visual Speech Separation等前沿多模态语音分离算法
- 熟悉车载座舱场景下的麦克风阵列信号处理与波束成形技术
面试指南
- 采用STAR法则（情境、任务、行动、结果）描述项目经验，突出你在算法创新和工程落地中的具体贡献
- 回答算法设计问题时，先从业务痛点出发，再阐述技术选型、模型结构及优化策略，最后说明评估指标与效果
- 请介绍你复现过的多模态语音分离基线模型，以及它们在座舱场景下的优缺点
- 针对车内强背景噪声和多乘员同时说话的场景，你会如何设计多模态融合算法？
- 在你的项目经验中，是如何处理视觉特征（如唇语、人脸关键点）与音频特征融合的？
- 请描述你搭建的多模态数据处理Pipeline，遇到了哪些工程挑战及如何解决？
- 复习多模态融合、语音分离的经典论文（如AVSS、Lip2Speech等），掌握其核心原理
- 准备1-2个自己主导或深度参与的算法项目，能够详细讲解技术细节与踩坑经验
职位点评
薪资福利60
成长发展90
工作生活50
使命价值75
薪资福利
60中等
实习岗位薪资按市场标准发放，虽无法与正式员工相比，但在北京算法实习中具备一定竞争力。
薪资信号未披露（AI估算：4–8千/月）
成长发展
90较高
岗位涉及前沿多模态算法研究与顶会论文产出，技术成长空间极大，且有明确的学术与工程双重培养路径。
技术前沿前沿/新兴技术
技术栈多模态融合、语音分离、深度学习、Transformer、PyTorch、唇语识别
成长机会学术论文产出、顶会顶刊
业务类型ambiguous
工作生活
50较低
岗位未明确提及工作模式与WLB相关信息，但算法研究及论文产出通常需要较高的时间投入。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
致力于提升车载座舱智能语音交互体验，具有较高的科技应用价值与社会意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs