字节跳动
人体感知算法工程师-PICO
人体感知算法工程师-PICO
发布于 大约 2 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
学历未注明
深度学习
PyTorch
计算机视觉
模型量化
模型剪枝
多模态大模型
端侧部署
语义分割
XR
3D人体姿态估计
AI 估算 · 30k–50k
高级算法岗，技术难度高，行业需求旺盛，薪资有竞争力。
职位详情
关于这个职位
该职位负责PICO XR设备上人体感知算法的研发与落地，包括端侧实时3D人体姿态估计、语义分割、3D重建等任务，并探索多模态大模型在XR场景中的应用
你将接触到前沿的计算机视觉和深度学习技术，参与从算法设计到端侧部署的全流程
最低要求
熟练掌握深度学习基本原理和Pytorch等框架，具有2D/3D视觉模型、如检测、分割、关键点、跟踪等模型训练和优化经验
具有AI模型在端侧的开发、部署、优化经验，包括不限于模型转换、量化、剪枝，推理框架开发等
有较强的编程能力，动手能力强，能够快速构建算法原型，具有一定的C++工程化开发能力
有较强的科研能力，包括不限于在Kaggle、COCO、ImageNet、ActivityNet、以及3D相关竞赛和顶级学术会议（如CVPR、ICCV、ECCV等）发表论文者
自驱力强，有强烈的求知欲、好奇心和进取心，及时关注和学习业界最新技术，对挑战技术难题充满激情，良好的沟通协作能力
工作职责
负责XR场景中端侧、实时2D/3D人体感知算法研发，包括但不限于第一/第三视角下3D人体姿态估计、语义分割、3D人体重建等任务，完成相关算法交付
负责人体感知多模态基础大模型研发，包括数据方案、大模型优化方案等任务，探索业界前沿技术点，推进最新技术在XR场景中的应用
优先资格
具有3D数字人、人体动捕、IMU传感器、移动端（Android/Qualcomm）算法开发等方面实际项目经验优先
熟悉常见的多模态大模型预训练、微调等技术及优化策略，具有相关方向的实践经验者优先
AI 洞察
优缺点分析
优点
- 字节跳动大平台，PICO业务在XR领域有广阔前景，资源充足
- 接触前沿技术，包括端侧AI、多模态大模型，技术积累价值高
- 薪资待遇优厚，福利完善，有较好的股票激励机会
- 技术难度大，需要同时掌握算法和工程化能力，竞争激烈
- 可能需要快速学习新技术，持续跟踪学术界和工业界进展
缺点 / 挑战
- XR场景对实时性和精度要求极高，研发压力较大
- 适合对XR和计算机视觉有强烈兴趣，具备扎实算法功底和工程能力，愿意接受挑战的技术型人才
角色解读
- 成为XR人体感知算法专家，深入端侧AI和计算机视觉领域
- 向多模态大模型方向拓展，晋升为算法团队骨干或技术负责人
- 在字节跳动内部可转向其他AI业务线或管理岗位
- 研发PICO XR设备上端侧实时的人体感知算法，包括3D姿态估计、语义分割和3D重建
- 训练和优化2D/3D视觉模型，使用PyTorch等框架，处理检测、分割、关键点等任务
- 负责模型端侧部署和推理优化，包括模型转换、量化、剪枝及推理框架开发
- 探索多模态基础大模型在XR场景中的应用，跟进最新技术前沿
- 扎实的深度学习基础，熟练掌握PyTorch框架和2D/3D视觉模型训练
- 端侧模型优化经验，包括量化、剪枝和部署，熟悉移动端或XR平台
- 较强的C++工程化能力，能快速构建算法原型并进行工程落地
- 科研能力突出，有顶级会议论文或竞赛经历者优先
申请策略
- 在简历和面试中展现对XR技术的热情和思考，准备相关项目案例
- 了解PICO的产品方向和竞品动态，体现行业认知
- 突出2D/3D视觉模型的训练和优化经历，尤其是人体相关任务
- 强调端侧部署优化项目，如模型量化、剪枝、移动端推理
- 展示竞赛获奖或顶会论文，体现科研能力
- 注明C++和Python编程能力，附带GitHub或项目链接
- 学习多模态大模型相关技术（如CLIP、LLaVA）及其微调方法
- 熟悉PICO或Quest等XR平台，了解端侧硬件限制
面试指南
- 结合理论知识和实际项目经验，先讲方法分类，再介绍自己的实践
- 使用STAR法则（情境、任务、行动、结果）回答项目类问题
- 突出解决问题的思路和量化结果，展现工程和创新能力
- D人体姿态估计的常见方法有哪些？如何平衡精度和速度？
- 模型量化的原理是什么？训练后量化与量化感知训练有何区别？
- 请描述一个你负责的端侧部署优化项目，遇到了哪些挑战？
- 多模态大模型如何应用于XR场景？请举例说明
- 如何对分割模型进行剪枝以适配移动端？
匹配度报告
71
综合匹配度
大厂核心算法岗，前沿XR技术，薪资高但工作强度大。
适合人群
最适合追求技术创新和薪资回报的求职者，愿意在高压环境下快速成长。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利80
成长发展90
工作生活40
使命价值75
薪资福利匹配
80较高
薪资水平在业内处于领先地位，但职位描述中未提及具体福利，整体补偿性较高。
薪资信号未披露（AI估算：30K-50K/月）
成长发展匹配
90较高
技术和研究方向非常前沿，涉及端侧AI和多模态大模型，成长空间大。
技术前沿前沿/新兴技术
技术栈深度学习、计算机视觉、多模态大模型、PyTorch、模型量化、模型剪枝、3D人体姿态估计、语义分割
业务类型profit_center
工作生活匹配
40较低
需在北京现场办公，互联网大厂工作强度通常较大，WLB信号不明显。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
75中等
XR行业处于高速增长期，PICO作为头部品牌有较大社会影响力，但产品偏娱乐，意义感中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs