小米
多模态高级算法工程师
多模态高级算法工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Aios
Omni模型
Pytorch
Sft
多模态大模型
强化学习
模型压缩
端侧部署
值不值得投
80综合评分
综合评分 80
前沿端侧多模态大模型研发岗，技术成长空间大，业务落地场景丰富，WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
5.5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3280 个在招 · 其中机器学习工程 42 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 470 个在招
职位详情
关于这个职位
该职位负责端侧多模态及全模态大模型的架构设计、训练与迭代，推动模型在AIOS、智能助手等核心场景的落地
你需要处理多模态数据体系，并进行模型压缩与端侧部署优化，解决实时交互与感知理解问题
最低要求
计算机、人工智能、机器学习等相关专业硕士及以上学历，具备较扎实的深度学习及大模型基础
具备3年以上大模型、多模态模型或相关核心算法研发经验，有完整模型研发和业务落地经验
熟悉Transformer及主流大模型训练方法，对预训练、SFT、RL、数据配比、模型评测等具有实际项目经验
具备多模态模型研发经验，在视觉、语音、文本中的至少两个方向具有较深入的技术积累
具备较强的工程实现能力，熟悉PyTorch等主流深度学习框架，有训练Infra、模型优化或端侧部署经验
对模型结构、训练策略和效果问题具备较强的问题分析及技术判断能力，能够独立承担核心模块或重点项目
工作职责
端侧多模态/Omni模型研发：负责端侧多模态及全模态（Omni）大模型的架构设计、训练与迭代，探索视觉、语音、文本等多模态信息的统一建模与实时交互能力
模型训练与后训练优化：负责预训练、SFT、RL/OPD等训练流程设计及效果优化，围绕模型能力、场景需求和端侧资源约束进行数据配比、训练策略及模型能力迭代
多模态数据体系建设：负责多模态数据清洗、筛选、合成、配比与质量治理，建设覆盖预训练、SFT、RL等阶段的数据体系，持续通过数据驱动提升模型效果
端侧模型优化与工程落地：针对端侧算力、内存、功耗及实时性约束，开展模型压缩、量化、推理优化及相关Infra建设，推动模型从实验室能力向终端产品落地
核心场景能力建设：围绕AIOS、智能助手、实时语音交互、视觉理解及Agent等业务场景，解决端侧模型感知、理解、交互和执行能力问题，推动模型能力在实际业务中的规模化应用
前沿技术预研与能力沉淀：跟踪多模态、Omni、端侧大模型及Agent领域前沿技术，完成关键技术验证、方案选型及工程化落地，形成团队长期技术能力
优先资格
具备Omni/端到端多模态研发经验者优先
AI 洞察
优缺点分析
优点
- 处于大模型与端侧AI结合的前沿赛道，技术壁垒高，个人技术成长空间大
- 依托小米庞大的硬件生态与AIOS场景，模型落地机会多，能产生实际的产品价值
- 平台资源充足，能接触到海量多模态数据与顶尖的算力基础设施
- 端侧部署对算力、内存和功耗有严格限制，模型压缩与优化的工程难度极大
- 适合具有扎实大模型基础、对端侧AI落地有热情，且具备较强工程实现能力的算法工程师
缺点 / 挑战
- 多模态数据清洗与配比工作繁琐，且Omni模型训练的资源消耗和调优成本较高
角色解读
- 可向多模态大模型技术专家方向发展，深耕端侧AI与全模态交互技术
- 也可转型为AI算法团队负责人，带领团队攻克核心场景的模型落地难题
- 负责端侧多模态及全模态大模型的架构设计与训练迭代，探索视觉、语音、文本的统一建模
- 开展模型压缩、量化与推理优化，解决端侧算力与功耗约束，推动模型在AIOS、智能助手等场景落地
- 建设多模态数据体系，进行数据清洗、合成与配比，通过数据驱动持续提升模型效果
- 扎实的深度学习基础，熟悉Transformer及预训练、SFT、RL等大模型训练方法
- 在视觉、语音、文本中至少两个方向有深入积累，具备多模态或Omni模型研发经验
- 熟练使用PyTorch，具备较强的工程实现能力，有模型优化或端侧部署经验
申请策略
- 提前体验小米的AIOS和智能助手产品，思考多模态大模型在其中的优化空间与落地场景
- 突出在多模态或大模型领域的完整项目经验，特别是预训练、SFT和RL的实操细节
- 强调在模型压缩、量化或端侧部署方面的工程落地成果，展示解决实际资源约束的能力
- 展示在视觉、语音或文本至少两个模态上的深入技术积累及论文或专利（如有）
- 深入学习端侧模型推理优化技术及模型量化方法，熟悉主流推理框架
- 了解Omni模型的最新架构，跟进端到端多模态交互的前沿论文
面试指南
- STAR法则：情境-任务-行动-结果，重点突出在资源受限或复杂场景下的技术决策与优化效果
- 对比分析法：在回答架构选型或技术预研问题时，从性能、资源消耗、落地可行性等维度对比不同方案
- 在端侧算力受限的情况下，你通常采用哪些策略进行模型压缩和推理优化？
- 请分享一个你主导的多模态大模型训练项目，在数据配比或SFT阶段遇到了什么问题，如何解决的？
- 针对实时语音交互或视觉理解场景，如何平衡模型的响应延迟与理解准确率？
- 你如何看待Omni/端到端多模态模型的发展？与传统的级联多模态方案相比有什么优劣？
- 复习大模型训练的核心细节（如分布式训练、混合精度、RLHF/DPO等），并准备具体的数据指标
- 了解小米近期的AI战略及AIOS的发布内容，结合JD中的业务场景准备自己的见解
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
高级算法岗薪酬丰厚，具备市场竞争力，但JD中未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：4千–7万/月）
成长发展
90较高
岗位涉及端侧多模态、Omni模型等前沿技术，技术天花板高，且能依托丰富的硬件场景实现技术落地。
技术前沿前沿/新兴技术
技术栈多模态大模型、Omni、Transformer、SFT、RL、PyTorch、模型压缩
成长机会前沿技术预研、能力沉淀
业务类型ambiguous
工作生活
60中等
JD未提及工作模式与加班情况，但大模型研发通常面临较高的项目压力与迭代节奏。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
推动端侧AI与多模态大模型在智能终端的落地，能显著提升用户的智能交互体验，具有较强的科技普惠意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs