智元机器人
Ego-Centric 视觉感知算法工程师- Genie业务部
Ego-Centric 视觉感知算法工程师- Genie业务部
发布于 大约 14 小时前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
Cuda
Onnx
Pytorch
Tensorrt
Vla
6D Pose Estimation
AI 估算 · 35k–55k
该职位要求高，视觉感知算法工程师稀缺，上海B轮公司薪资有竞争力，结合技术难度和行业水平，月薪35K-55K合理。
职位详情
关于这个职位
该职位负责开发具身智能机器人的视觉感知算法，包括2D/3D目标检测、深度估计、6D位姿估计，并参与构建用于VLA和世界模型训练的数据闭环
你将与机器人学习团队紧密协作，优化感知模型在端侧的实时部署，确保高精度与低延迟
适合有扎实计算机视觉和机器人学背景、追求技术深度的研发工程师
最低要求
学历背景：计算机视觉、机器人学、自动化、人工智能等相关专业，硕士及以上学历
编程能力：精通 Python/C++，熟练掌握 PyTorch
具备 CUDA、TensorRT、ONNX Runtime 部署经验者优先
算法基础：
深入理解 2D/3D 视觉基础网络（ResNet、ViT、DETR、Mask2Former、SAM/SAM2）
精通深度估计（MiDaS、Depth Anything、Metric3D）与 3D 视觉核心问题（MVS、SfM、NeRF/3DGS、点云配准 ICP）
熟悉 6D 位姿估计（FoundationPose、MegaPose、GDRNPP、UniPose）与 3D Hand Pose（MediaPipe Hands、HaMeR、ACR、MANO 拟合）的实际项目经验
具备多传感器（RGB-D、鱼眼、IMU）标定、时间同步与手眼标定（Hand-Eye Calibration）经验
精度导向的工程能力：有在真实机器人系统上实现并验证 <1cm 级 3D 定位精度的项目经历，熟悉误差分析、不确定性量化（Uncertainty Quantification）与精度回归测试流程
具身智能理解：了解机器人操作（Manipulation）中的感知需求，熟悉 Ego4D、EPIC-KITCHENS、HOI4D、ARCTIC、Open X-Embodiment 等数据集，有将感知算法部署于真实机械臂/人形机器人并采集训练数据的经验
软件工程：具备良好的工程习惯（Git、CI/CD、代码审查、单元测试），能够独立负责模块从算法设计到上线部署的全生命周期
工作职责
视觉感知：面向第一人称操作视角与第三人称交互视角，设计并优化物体检测、实例分割、语义分割算法
针对人手（Hand）及手-物交互（HOI）区域进行像素级高精度分割与关键点检测，支持多指灵巧手（Dexterous Hand）的关节级/指尖级定位需求
高精度深度估计与 3D/6D 位姿输出：研发单目/多目融合深度估计（Depth Estimation）算法，构建从 2D 感知到稠密 3D 点云的精确映射管线
负责物体 6D 位姿（3D Translation + 3D Rotation）估计与人手 3D Mesh/关节位姿重建，确保在操作距离（0.3m–1.5m）内达到1cm 级绝对精度（或等效 <5° 旋转误差）
建立基于几何约束（PnP、BA、多视图三角化）与深度学习（FoundationPose、VGGT、DUSt3R）的混合位姿解算框架，持续优化边缘 case（遮挡、反光、透明物体、弱纹理）下的精度稳定性
VLA 与世界模型训练数据闭环：搭建从原始多模态视频流（RGB-D / 鱼眼 / 事件相机）到结构化 3D 感知标签（2D Box/Mask + Depth Map + 3D Keypoints + 6D Pose）的自动化标注与质检管线
与机器人学习团队深度协作，将高精度 3D/6D 感知输出直接嵌入 VLA（Vision-Language-Action）模型与世界模型（World Model）的训练流程，定义并维护感知-策略接口标准（如 Open-X Embodiment 格式）
参与构建大规模机器人示教数据集（Teleoperation / Human Demonstration），确保感知标注精度满足模仿学习（IL）与强化学习（RL）对状态估计的严格要求
模型轻量化与端侧部署：负责感知模型在机器人端侧计算单元（NVIDIA Jetson / 自研 NPU / Intel NUC）的量化、蒸馏与 TensorRT/ONNX 推理优化，满足实时性（≥30 FPS）与低延迟要求，同时保证 1cm 精度不降级
AI 洞察
优缺点分析
优点
- 公司已有完整产品矩阵（G1/G2等），技术落地场景明确，研究成果能快速验证
- 团队技术视野广，涉及视觉、机器人学习、模型部署等多领域，有利于综合能力提升
- 对精度要求极高（1cm级），边缘case处理难度大，需要反复迭代和回归测试
- 涉及多传感器融合和端侧部署，软硬件协同问题多，调试复杂
- 岗位节奏可能较快，需独立负责模块全生命周期，抗压能力要求高
- 适合热爱计算机视觉和机器人技术、追求算法极致精度、享受从研发到部署全流程的工程师
缺点 / 挑战
- 处于具身智能前沿赛道，技术挑战大，有助于快速积累顶尖算法和工程经验
角色解读
- 从算法工程师向具身智能感知专家发展，主导视觉感知核心技术突破
- 可转向VLA模型训练或机器人学习，成为全栈具身智能研究员
- 未来可晋升为技术负责人或算法团队Leader，负责整体感知系统架构
- 设计并优化面向机器人操作场景的2D/3D视觉感知算法，包括物体检测、分割、深度估计和6D位姿估计
- 搭建自动化数据标注管线，将多模态感知数据转化为结构化的训练标签，用于VLA模型和世界模型训练
- 负责感知模型在机器人端侧计算单元上的轻量化与部署，确保实时性和精度
- 与机器人学习团队协作，定义感知-策略接口标准，并参与大规模示教数据采集
- 精通Python和C++，熟练使用PyTorch，具备CUDA/TensorRT/ONNX部署经验
- 深入理解2D/3D视觉网络（ResNet、ViT、DETR等）和深度估计、6D位姿估计算法
- 熟悉多传感器标定（RGB-D、鱼眼、IMU）和手眼标定，有真实机器人系统精度验证经验
- 了解具身智能数据集（Ego4D、HOI4D等）和机器人操作感知需求，具备良好的工程习惯
申请策略
- 在求职信中表达对具身智能和机器人操作感知的热情，展示对Genie业务部技术方向的理解
- 提前了解智元机器人的产品（G1/G2等）和技术博客，面试中展现主动学习意愿
- 重点突出在真实机器人系统上实现高精度3D定位的项目经历，量化精度指标（如<1cm）
- 列出掌握的6D位姿估计、深度估计算法框架（如FoundationPose、Depth Anything）及实际应用效果
- 强调传感器标定、手眼标定和多模态融合经验，展示工程落地能力
- 如有端侧模型量化或TensorRT优化经验，务必详细说明性能提升数据
- 补充掌握VLA模型或世界模型基础，了解Open X-Embodiment等接口标准
- 熟悉机器人操作系统（ROS/ROS2）和仿真环境（如Isaac Sim），提升具身智能实践能力
面试指南
- 用STAR法则描述项目：情境、任务、行动、结果，重点突出精度指标和工程细节
- 技术类问题：先讲基本原理，再结合具体工具（如PnP、BA、深度学习）说明方案，最后讨论取舍
- 系统设计问题：从输入输出出发，分模块阐述，并考虑边缘case和鲁棒性
- 请详细描述你过去负责的6D位姿估计项目，精度如何保证？遇到哪些遮挡/反光问题？
- 如何设计一个高精度深度估计管线，从2D到稠密3D点云，并评估误差？
- 在多传感器标定（RGB-D、IMU）中，如何处理时间同步和外参标定？
- 请解释VLA模型训练中感知接口的关键设计，如何定义标准格式？
- 在端侧部署模型时，量化对精度的影响如何分析？如何保证1cm精度不降级？
职位点评
71
综合评分
前沿具身智能视觉算法岗，高成长高薪资，但工作强度和现场办公需适应。
更适合这类人
该职位最适合追求技术成长和前沿挑战的求职者，不太适合注重生活和WLB的人。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值80
薪资福利
75中等
薪资水平较高，B轮融资公司有一定稳定性，但相比大厂可能仍在上升期，福利信息未明确。
薪资信号未披露（AI估算：35K-55K/月）
成长发展
90较高
前沿技术栈，涉及视觉、机器人学习、模型部署，成长空间大，团队技术氛围强。
技术前沿前沿/新兴技术
技术栈具身智能、VLA、世界模型、6D位姿估计、深度估计、TensorRT、NVIDIA Jetson
业务类型profit_center
工作生活
40较低
上海现场办公，未提及弹性工作制，推测可能项目驱动加班，WLB一般。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
具身智能是前沿领域，推动机器人作业革命，有较强的科技使命感和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号引领智能作业新革命
创新程度开拓性创新（行业首创）
智元机器人 的其他在招职位
相似职位推荐
Watch Jobs