小米
顶尖应届-语音理解大模型算法工程师-大模型
顶尖应届-语音理解大模型算法工程师-大模型
发布于 大约 2 个月前普通员工/个人贡献者
北京市
无经验要求
全职员工
仅现场办公
博士
研究与开发 (研发)
多模态
大模型
情感识别
语音理解
语音识别
说话人识别
PyTorch
AI 估算 · 25k–40k
博士应届、大模型方向、小米北京，属于高薪岗位，参考市场价25-40K/月，年终奖通常2-3个月。
职位详情
关于这个职位
该职位是小米面向顶尖应届博士生的语音理解大模型算法工程师岗，专注于研发语音理解大模型的核心技术，包括模型结构设计、对齐策略、指令微调、多阶段训练等，并推动算法在小米手机、汽车、生态链等核心业务场景落地，提升产品竞争力
你将与业界一流团队合作，在语音多模态理解、空间音频、语音安全等前沿方向进行创新突破
最低要求
博士学历，计算机、人工智能、机器学习、电子信息、自动化、数学等相关专业，多模态大模型、语音理解等相关方向
具备丰富的多模态大模型、或语音理解经验，对多模态大模型、语音理解、全模态理解等有深入理解
具备优秀的编程能力，熟练掌握PyTorch等至少一门深度学习框架，熟练掌握Python或C++等至少一门编程语言
在Interspeech/ICASSP/AAAI/NeurIPS / ICLR / ICML等顶会发表过多模态大模型或深度强化学习方向高水平论文，或以主力身份参加相关领域主流算法竞赛且取得优秀成绩者，优先
在ACM/ICPC、CodeForces、IOI/NOI/NOIP/CSP等编程算法竞赛中获得优秀成绩者，优先
具备良好的团队合作精神
工作职责
研发语音理解大模型核心技术，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流
优化语音拾音大模型的上下文感知能力，通过送入交互历史信息提升语音识别准确率
优化语音识别大模型的热词感知能力，通过送入相关热词提升语音识别准确率
优化语音多模态理解大模型的SpeechEncoder，提升语音理解大模型的语音理解能力和声音理解能力，包括语音内容、情感、性别、声音事件、音乐风格等
在用户跟智能体对话的过程中，检测用户的表达完整性，从而加快系统响应速度且不带来更多的误截断
在语音对话模型中，检测用户交互的对象，从而提升打断的有效性和系统交互的响应速度
优化语音理解大模型的效果，提升语音、声音、环境信息的感知和理解能力，提升语音理解大模型的时间戳感知能力，提升语音理解大模型对特定异响声音的鉴别能力
优化空间音频理解的效果，提升多通道端到端语音理解能力，提升鸡尾酒会场景的语音识别和语音理解能力，提升说话人日志的效果
优化语音安全的能力，提升语音理解大模型对说话人感知的能力，提升语音理解大模型对合成音频的鉴别能力
提升端到端语音理解能力，建立比较广泛的业界影响力
推动语音理解算法落地，在小米核心业务场景提升核心产品竞争力和用户智能体验，包括手机（OS/小爱）、汽车、生态链等
AI 洞察
优缺点分析
优点
- 小米提供海量真实用户数据和丰富的业务场景（手机、汽车、IoT），模型落地机会极佳
- 团队专注前沿大模型技术，有充足的计算资源和学术氛围，能快速积累顶会论文
- 薪资福利有竞争力，小米上市后稳定，股票激励可能性大
- 职位要求极高，需要博士学历和丰富的研究经验，竞争激烈
- 大模型训练对计算资源需求大，调试和迭代周期长，需要耐心和毅力
- 适合对语音理解有浓厚兴趣、追求技术前沿、有志于将研究成果转化为实际产品的顶尖博士毕业生
缺点 / 挑战
- 业务落地需平衡效果与性能，可能面临工程化挑战
角色解读
- 从算法研究员成长为技术专家，主导核心模型研发方向
- 可转向技术管理岗，带领团队攻克语音理解前沿难题
- 积累端到端产品落地经验，成为行业语音AI领域领军人才
- 研究语音理解大模型的核心算法，包括模型结构设计、训练策略优化、推理增强等
- 优化语音识别在复杂场景下的表现，如上下文感知、热词增强、多通道语音理解
- 推动模型在小米手机、汽车、智能音箱等产品中落地，提升用户交互体验
- 扎实的深度学习基础，熟悉Transformer、大模型训练技术
- 精通PyTorch等框架，熟练Python/C++编程
- 对语音理解、多模态大模型有深入理解，有相关顶会论文或竞赛经验
申请策略
- 准备一个结合小米业务场景的技术方案思考，展示你对产品落地的理解
- 了解小米AI团队的技术方向，在面试中展示你的研究如何与团队目标契合
- 突出在语音、多模态大模型方面的研究经历，特别是顶会论文或竞赛成绩
- 详细描述在模型结构设计、训练策略优化等方面的具体贡献和技术细节
- 展示编程能力，如参与过的开源项目或高性能代码实现
- 如果有时间，可以深入研读最新的语音理解大模型论文（如Whisper、Qwen-Audio等）
- 动手复现经典模型，并尝试改进，积累实践经验
面试指南
- STAR法则：情境-任务-行动-结果，清晰描述研究项目
- 技术对比法：对比不同方法的优劣，展示你的技术判断力
- 从问题到方案：先定义核心问题，再逐步提出解决方案
- 请介绍一下你在语音理解大模型方面的研究成果
- 如何设计一个端到端的语音理解模型？请从结构、损失函数、训练策略等方面阐述
- 在语音识别中，如何解决噪声环境下的识别率问题？
- 你如何看待大模型在语音领域的未来发展趋势？
- 复习语音理解领域经典论文和最新进展，特别是Google、OpenAI、Meta等团队的工作
职位点评
74
综合评分
顶尖科研岗，前沿大模型技术，高成长但现场办公，WLB一般。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
更适合这类人
适合追求技术成长和前沿研究的求职者，能接受高强度工作。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活50
使命价值70
薪资福利
75中等
小米为博士应届生提供有竞争力的薪酬（25-40K/月+年终），但职位未明确提及具体福利，属于市场水准偏上。
薪资信号未披露（AI估算：25K-40K/月）
成长发展
90较高
该职位直接从事大模型前沿研发，技术栈新、导师制可能隐含在团队协作中，成长空间巨大。
技术前沿前沿/新兴技术
技术栈大模型、语音理解、多模态、Transformer、PyTorch、C++、Python
业务类型profit_center
工作生活
50较低
北京现场办公，未提及弹性工作或远程，互联网大厂可能有一定加班强度。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
语音理解技术能提升数亿用户的交互体验，社会价值较高，但未明确提及使命导向。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
小米 的其他在招职位
相似职位推荐
Watch Jobs