字节跳动
人体感知算法工程师-PICO
人体感知算法工程师-PICO
发布于 大约 3 小时前普通员工/个人贡献者
北京市
中级经验
全职员工
仅现场办公
学历未注明
计算机视觉工程
3D人体姿态估计
Pytorch
多模态大模型
模型剪枝
模型量化
深度学习
端侧部署
语义分割
3D人体重建
AI 估算 · 30k–60k
XR前沿算法岗，字节PICO平台实力强，北京AI人才竞争激烈，薪资溢价高，月薪3-6万合理。
职位详情
关于这个职位
作为字节跳动PICO的人体感知算法工程师，你将专注于XR场景中端侧实时的2D/3D人体姿态估计、语义分割和人体重建等算法研发，并参与多模态基础大模型的探索
该岗位需要扎实的深度学习基础和C++工程能力，适合对前沿视觉技术有热情、喜欢将算法落地到实际产品的工程师
最低要求
熟练掌握深度学习基本原理和Pytorch等框架，具有2D/3D视觉模型、如检测、分割、关键点、跟踪等模型训练和优化经验
具有AI模型在端侧的开发、部署、优化经验，包括不限于模型转换、量化、剪枝，推理框架开发等
有较强的编程能力，动手能力强，能够快速构建算法原型，具有一定的C++工程化开发能力
有较强的科研能力，包括不限于在Kaggle、COCO、ImageNet、ActivityNet、以及3D相关竞赛和顶级学术会议（如CVPR、ICCV、ECCV等）发表论文者
自驱力强，有强烈的求知欲、好奇心和进取心，及时关注和学习业界最新技术，对挑战技术难题充满激情，良好的沟通协作能力
工作职责
负责XR场景中端侧、实时2D/3D人体感知算法研发，包括但不限于第一/第三视角下3D人体姿态估计、语义分割、3D人体重建等任务，完成相关算法交付
负责人体感知多模态基础大模型研发，包括数据方案、大模型优化方案等任务，探索业界前沿技术点，推进最新技术在XR场景中的应用
优先资格
具有3D数字人、人体动捕、IMU传感器、移动端（Android/Qualcomm）算法开发等方面实际项目经验优先
熟悉常见的多模态大模型预训练、微调等技术及优化策略，具有相关方向的实践经验者优先
AI 洞察
优缺点分析
优点
- 字节跳动平台资源丰富，数据和算力支持充足，能够快速验证想法
- 薪资福利在行业内具有竞争力，职业发展空间广阔
- 团队技术氛围浓厚，有机会与顶级工程师合作
- 端侧算法受限于算力和功耗，优化难度极高，需要深厚的工程与算法功底
- 工作节奏较快，对自驱力和学习能力要求高，可能需要较长的工作时间
缺点 / 挑战
- 接触XR和AI最前沿技术，如多模态大模型，技术挑战大，成长快
- 竞争激烈，绩效压力大，需要持续保持产出
- 适合对计算机视觉和深度学习有强烈热情，具备扎实工程能力，不畏挑战并渴望在XR技术浪潮中成长的工程师
角色解读
- 技术深度上可成长为计算机视觉/三维视觉领域的专家，解决行业级难题
- 可参与字节PICO核心产品研发，积累XR和AIGC的落地经验，有机会发表顶会论文
- 未来可向技术管理或架构师方向发展，或深入多模态大模型等更前沿领域
- 负责XR场景中端侧实时2D/3D人体感知算法的研发与交付，包括姿态估计、语义分割、3D人体重建等任务
- 研发人体感知多模态基础大模型，设计数据处理和模型优化方案，推动前沿技术在XR中的应用
- 与团队协作，将算法高效部署到端侧设备，优化性能和功耗，确保用户体验
- 扎实的深度学习基础，熟练使用PyTorch等主流框架进行模型训练和调优
- 具备2D/3D视觉模型（检测、分割、关键点、跟踪）的实践经验
- 熟悉模型转换、量化、剪枝等端侧优化技术，了解常见推理框架
- 具备C++工程化能力，能够独立构建算法原型并解决问题
申请策略
- 深入了解PICO的产品线（如VR头显）和XR技术趋势，在面试中展现对业务场景的理解
- 准备1-2个从算法到端侧部署的完整项目故事，体现问题解决能力
- 突出人体姿态估计、3D重建、语义分割等相关项目，量化技术指标（如精度、帧率）
- 强调端侧部署优化经验，如使用TensorRT/MNN等工具进行量化、剪枝的具体案例
- 展示Kaggle或COCO等竞赛成绩，以及CVPR/ICCV等顶会论文，体现科研能力
- 描述C++和PyTorch的熟练度，以及快速原型开发的实践
- 学习多模态大模型（如CLIP、LLaVA）的原理和训练方法，了解常见微调技巧
- 动手实践模型部署工具，如TensorRT、ONNX Runtime、MNN，并掌握量化（PTQ/QAT）方法
面试指南
- 使用STAR法则：简述项目背景、目标、你的具体行动和量化成果
- 技术问题从数据、模型、优化、硬件四个层面分析，体现系统性思维
- 结合字节PICO的实际场景，给出针对性思考，展现业务敏感度
- 请介绍一个人体姿态估计项目，你是如何平衡精度和速度的？
- 如何将一个PyTorch模型部署到手机端？请说明你了解的优化步骤
- 你如何设计一个用于多模态大模型的数据清洗和标注方案？
- 在端侧实现实时3D人体重建面临哪些挑战？你有什么解决方案？
- 谈谈你对XR中人体感知技术未来发展的看法
职位点评
73
综合评分
字节PICO核心算法岗，前沿技术栈，高薪高压，技术成长性极佳。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术深度、渴望在XR/多模态方向快速成长，并愿意接受高强度挑战的工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活50
使命价值70
薪资福利
75中等
该职位薪资未披露，但字节跳动属于头部大厂，薪酬福利预期较好，北京算法岗位薪资偏高。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
90较高
职位聚焦前沿技术，涉及多模态大模型和端侧部署，技术成长空间大，且鼓励科研探索。
技术前沿前沿/新兴技术
技术栈深度学习、PyTorch、3D人体姿态估计、语义分割、3D人体重建、端侧部署、模型量化、多模态大模型
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与加班情况，互联网大厂算法岗通常节奏较快，需做好高强度工作准备。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
工作推动XR技术发展，具有技术价值和创新意义，但社会影响相对中性。
行业发展新兴领域（暂难判断）
社会影响中性/一般
创新程度积极采用新技术
字节跳动 的其他在招职位
相似职位推荐
Watch Jobs