字节跳动
视觉算法工程师（人机交互/XR多模态方向）-PICO
视觉算法工程师（人机交互/XR多模态方向）-PICO
发布于 大约 16 小时前普通员工/个人贡献者
北京市
中级经验
全职员工
仅现场办公
硕士
深度学习
PyTorch
计算机视觉
TensorFlow
多模态
模型优化
端侧部署
眼动追踪
情绪感知
AI 估算 · 25k–45k
字节跳动算法岗位薪资竞争力强，结合北京市场及技能门槛，估算月薪2.5万-4.5万，16薪。
职位详情
关于这个职位
该职位负责XR场景下人机交互视觉感知算法的研发与落地，涵盖眼动追踪、情绪感知等方向
你需要基于深度学习设计训练模型，并优化其在真实设备上的性能，推动端侧部署
与产品、硬件等多团队协作，探索多模态融合，是接触前沿XR技术和AI算法的绝佳机会
最低要求
计算机、自动化、电子、数学等相关专业，本科及以上学历，硕士学位、博士学位优先
数学与算法基础扎实：线性代数、概率统计、优化方法、数值计算等
对机器学习/深度学习核心理论有系统理解
编程基础扎实：熟练使用Python/C++（至少其一非常熟练）
具备良好的工程习惯（调试、性能分析、单元测试、代码规范等）
熟悉至少一种深度学习框架（PyTorch/TensorFlow等），有模型训练、调参、评估与问题诊断的经验
理解常见视觉网络/Transformer等结构与训练范式
具备良好的沟通协作能力与自驱力，能在不确定问题中快速学习、拆解并推进落地
工作职责
负责XR场景下人机交互相关视觉感知算法的研发与工程落地工作，包括但不限于眼动追踪技术、情绪感知技术等方向
基于深度学习方法进行模型设计、训练与评测，持续优化算法在真实设备上的鲁棒性、时延、功耗与体验指标，推动移动端/嵌入式侧部署（如量化、剪枝、加速与性能调优）
参与数据与评测体系建设：数据采集与清洗、自动/半自动标注、合成数据（仿真/渲染）、建立可复用的数据闭环与指标体系
与产品、交互、硬件、系统软件等团队协作，推进算法在端侧应用落地
参与关键技术方案评审、问题定位与迭代优化
探索多模态交互在XR场景的融合应用，研究多模态信息的对齐与融合（时空对齐、语义融合、置信度建模等），并参与原型系统验证
优先资格
在AI/计算机视觉/多模态方向发表过会/刊论文或有高质量开源项目贡献（CVPR/ICCV/ECCV/NeurIPS/ICLR等）
有多模态大模型（MLLM/VLM）相关项目业务落地经历：多模态预训练、后训练、指令跟随、RAG、Agent工具调用、端侧推理优化等
有OpenClaw/Agent框架相关项目经验，或具备将模型能力与工程系统结合、实现自动化任务/工具编排的实践
有端侧部署经验（Android/iOS/嵌入式/NPU），熟悉TensorRT/ONNX Runtime/CoreML/NNAPI/TFLite等任一工具链
有XR传感器与系统背景（相机/IMU/深度传感器/SLAM等）与实时系统优化经验者加分
AI 洞察
优缺点分析
优点
- 字节跳动大平台，技术资源与算力充足，项目影响力大
- XR是新兴高增长赛道，职业前景广阔
- 与多团队协作，锻炼综合能力，积累跨域经验
- 薪资福利具有行业竞争力，16薪制
- 技术难度高，需持续跟踪前沿论文并快速迭代
缺点 / 挑战
- 端侧部署对性能与功耗要求苛刻，优化挑战大
- 多团队协作，沟通成本较高，需要较强的自驱力
- 适合对计算机视觉与深度学习有扎实基础，对XR人机交互充满热情，喜欢挑战前沿技术难题的算法工程师
角色解读
- 深耕XR+AI前沿技术，成为多模态感知或人机交互领域专家
- 向技术专家（Principal）或技术管理（Tech Lead）方向发展
- 未来可延伸至机器人、自动驾驶等交叉领域
- 负责XR场景下眼动追踪、情绪感知等视觉算法的研发与落地
- 基于深度学习设计模型，进行训练、评测与优化，并推动端侧部署
- 参与数据体系建设，包括数据采集、标注、合成及闭环迭代
- 与产品、硬件、系统软件等团队协作，探索多模态融合应用
- 扎实的数学与算法基础（线性代数、概率统计、优化方法）
- 熟练Python/C++，至少精通其一，并具备良好工程习惯
- 熟悉PyTorch或TensorFlow，有模型训练、调参、评估经验
- 了解多模态大模型或端侧部署经验者优先
申请策略
- 在简历中量化算法提升指标，如精度、时延、功耗等
- 熟悉字节PICO业务方向与产品，在面试中展示对XR的热情与理解
- 突出视觉算法项目经验（如眼动追踪、情绪识别、多模态融合）
- 强调模型优化与端侧部署实际案例（量化、剪枝、加速）
- 展示学术论文（CVPR/ICCV等）或高质量开源贡献
- 体现团队协作与跨部门沟通能力，量化成果（精度、时延提升）
- 复习多模态大模型（MLLM/VLM）相关技术，了解预训练与微调
- 学习端侧推理框架如TensorRT、ONNX Runtime、CoreML等
面试指南
- 按项目背景、技术方案、实施细节、结果与收获的结构回答，突出量化指标
- 从模型量化、剪枝、知识蒸馏、硬件加速等维度阐述优化思路
- 对比早期融合、晚期融合、注意力融合等方法，结合具体场景说明选择理由
- 请详细介绍一个你主导的视觉感知项目，从数据准备到模型部署的全流程
- 如何优化模型在移动端的推理速度和内存占用？请给出具体技术方案
- 多模态融合有哪些常见方法？它们的优缺点是什么？
- 眼动追踪中如何补偿头部运动带来的影响？
- 如何设计一个数据闭环系统来持续提升算法性能？
匹配度报告
71
综合匹配度
字节大厂，XR前沿技术，高薪但WLB一般。
适合人群
该职位最适合追求技术成长和薪资回报，且能接受较高工作强度的求职者。
最强匹配
薪资福利匹配
最弱匹配
工作生活匹配
薪资福利90
成长发展88
工作生活40
使命价值65
薪资福利匹配
90较高
字节跳动作为大型互联网上市公司，薪酬水平具有显著竞争力，但职位描述未明确福利待遇，综合判断补偿性动机满足度高。
薪资信号未披露（AI估算：25K-45K/月）
成长发展匹配
88较高
职位涉及XR、多模态等前沿技术，需要持续学习与创新，但未提及晋升通道，发展性满足度较高。
技术前沿前沿/新兴技术
技术栈深度学习、计算机视觉、多模态、眼动追踪、情绪感知、PyTorch、TensorFlow、端侧部署、Transformer
业务类型ambiguous
工作生活匹配
40较低
北京现场办公，未提及弹性工作或WLB，结合互联网行业特点，工作强度可能较高，生活化动机满足有限。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
65中等
XR赛道高速增长，社会影响力中性，技术属于积极创新层面，但未体现使命感，意义感满足中等。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs