具身世界模型数据工程师 - XiaomiRobotics

优缺点分析

角色解读

• 领域深耕：从数据工程师成长为具身智能数据专家，主导数据体系建设
• 横向拓展：向大模型训练、模型评测或AI平台方向延伸，成为全栈AI工程师
• 管理路径：带领数据团队，负责更大规模的数据基础设施与平台建设
• 负责构建具身大模型训练所需的多模态数据体系，涵盖图像、视频、语言、动作轨迹等数据
• 设计并搭建大规模数据处理管线，包括数据采集、清洗、标注、筛选、质量评估与版本管理
• 针对预训练、SFT、强化学习等不同训练阶段制定数据策略，优化数据配比与利用效率
• 与模型、机器人团队协作，建设自动化数据回放、质检和评测体系，解决跨模态对齐等问题
• 熟练掌握Python，具备扎实的编程和工程实现能力
• 熟悉分布式数据处理框架（如Spark、Flink）和主流数据清洗、标注工具
• 理解大模型训练数据全流程，了解预训练、SFT、强化学习各阶段的数据特点
• 具备多模态数据处理经验，了解图像、文本、视频、动作轨迹等数据格式与对齐方法

申请策略

• 提前了解小米机器人部门的业务方向和已有技术布局
• 在面试中展示对具身智能数据挑战的洞察和解决思路
• 突出大规模数据处理管线的设计与落地项目，展示具体规模和成果
• 强调Python和分布式框架的熟练度，可附GitHub或代码示例
• 如有多模态、自动驾驶或机器人数据经验，务必重点描述
• 体现对数据质量、自动化流程优化的思考和实践
• 补充学习多模态对齐和时序数据处理的相关工具（如FFmpeg、视频理解库）
• 熟悉主流大模型数据流水线（如WebDataset、Databricks）的架构

面试指南

• 先讲清楚数据流向和关键环节，再具体说明技术选型和模块设计
• 针对优化问题，给出量化指标和迭代思路，体现数据驱动思维
• 强调跨团队协作和工程落地的实际效果，结合案例说明
• 你如何设计一个覆盖多模态数据的数据采集和清洗流程？
• 在训练大模型时，如何组织预训练、SFT和强化学习阶段的数据配比？
• 如何处理跨模态数据的对齐和时序一致性问题？
• 如果数据分布不均衡，你会采取哪些策略优化数据质量？
• 请描述一个你负责过的数据管线项目，遇到的难点如何解决？