字节跳动
视觉算法工程师（人机交互/XR多模态方向）-PICO
视觉算法工程师（人机交互/XR多模态方向）-PICO
发布于 大约 2 个月前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
软件工程
多模态
情绪感知
数据闭环
模型部署
深度学习
眼动追踪
计算机视觉
量化剪枝
PyTorch
AI 估算 · 25k–50k
大厂核心算法岗，人工智能赛道，技术难度高，薪资竞争力强。
职位详情
关于这个职位
该职位负责开发XR人机交互相关的视觉感知算法，如眼动追踪和情绪感知
你将从事深度学习模型的研发、部署和优化，并与多团队协作推动端侧应用落地
适合对计算机视觉和多模态交互有浓厚兴趣的算法工程师
最低要求
计算机、自动化、电子、数学等相关专业，本科及以上学历，硕士学位、博士学位优先
数学与算法基础扎实：线性代数、概率统计、优化方法、数值计算等
对机器学习/深度学习核心理论有系统理解
编程基础扎实：熟练使用Python/C++（至少其一非常熟练）
具备良好的工程习惯（调试、性能分析、单元测试、代码规范等）
熟悉至少一种深度学习框架（PyTorch/TensorFlow等），有模型训练、调参、评估与问题诊断的经验
理解常见视觉网络/Transformer等结构与训练范式
具备良好的沟通协作能力与自驱力，能在不确定问题中快速学习、拆解并推进落地
工作职责
负责XR场景下人机交互相关视觉感知算法的研发与工程落地工作，包括但不限于眼动追踪技术、情绪感知技术等方向
基于深度学习方法进行模型设计、训练与评测，持续优化算法在真实设备上的鲁棒性、时延、功耗与体验指标，推动移动端/嵌入式侧部署（如量化、剪枝、加速与性能调优）
参与数据与评测体系建设：数据采集与清洗、自动/半自动标注、合成数据（仿真/渲染）、建立可复用的数据闭环与指标体系
与产品、交互、硬件、系统软件等团队协作，推进算法在端侧应用落地
参与关键技术方案评审、问题定位与迭代优化
探索多模态交互在XR场景的融合应用，研究多模态信息的对齐与融合（时空对齐、语义融合、置信度建模等），并参与原型系统验证
优先资格
在AI/计算机视觉/多模态方向发表过会/刊论文或有高质量开源项目贡献（CVPR/ICCV/ECCV/NeurIPS/ICLR等）
有多模态大模型（MLLM/VLM）相关项目业务落地经历：多模态预训练、后训练、指令跟随、RAG、Agent工具调用、端侧推理优化等
有OpenClaw/Agent框架相关项目经验，或具备将模型能力与工程系统结合、实现自动化任务/工具编排的实践
有端侧部署经验（Android/iOS/嵌入式/NPU），熟悉TensorRT/ONNX Runtime/CoreML/NNAPI/TFLite等任一工具链
有XR传感器与系统背景（相机/IMU/深度传感器/SLAM等）与实时系统优化经验者加分
AI 洞察
优缺点分析
优点
- 公司平台强大：字节跳动（PICO）在XR领域投入大，技术积累深厚
- 前沿技术栈：涉及眼动追踪、多模态、端侧部署等热门方向，技能增值快
- 团队协作氛围：与产品、硬件等多团队合作，视野开阔
- 薪酬福利优厚：大厂标准薪资+期权/股票，年终奖金丰厚
- 工作强度大：互联网大厂节奏快，项目周期紧，可能需要加班
- 竞争激烈：岗位门槛高，对论文或项目经验有加分要求，面试难度大
- 适合在计算机视觉或深度学习领域有扎实基础，热爱XR与多模态交互，渴望在技术前沿快速成长的算法工程师
缺点 / 挑战
- 技术难度高：需同时掌握算法研发和工程部署，挑战较大
角色解读
- 技术深耕：从算法工程师到计算机视觉/多模态专家，成为该领域的技术权威
- 管理方向：可发展为技术负责人（Tech Lead），带领团队攻关核心算法
- 跨领域拓展：结合XR与AI技术，向全栈感知、人机交互等方向延伸
- 研发XR场景下的视觉感知算法，如眼动追踪和情绪识别，提升交互体验
- 设计、训练并优化深度学习模型，实现端侧部署，平衡鲁棒性、时延和功耗
- 建设数据闭环体系，包括数据采集、标注、合成和评测，支持算法迭代
- 与产品、硬件、系统软件团队协作，推动算法在PICO设备上落地
- 扎实的数学与算法基础：线性代数、概率统计、优化方法
- 精通Python或C++，熟悉PyTorch/TensorFlow等深度学习框架
- 了解常见视觉网络（CNN/Transformer）和模型部署技术（量化、剪枝、加速）
- 具备良好的沟通协作能力与自驱力，能解决工程落地中的复杂问题
申请策略
- 关注PICO产品动态，在面试中展现对XR行业的理解与热情
- 准备一个完整的算法落地案例，详细说明从模型设计到端侧部署的优化过程
- 突出计算机视觉项目经验，尤其是眼动追踪、情绪识别或多模态相关
- 强调模型部署经验：量化、剪枝、端侧推理（如TensorRT、ONNX）
- 展示论文或开源贡献：CVPR/ICCV等顶会论文或高质量GitHub项目
- 体现跨团队协作和工程落地能力：从算法到产品化的完整案例
- 补充端侧部署工具链：学习TensorRT、CoreML、TFLite等
- 了解多模态大模型：如LLaVA、Qwen-VL等，尝试动手实践
面试指南
- STAR法则：Situation-Task-Action-Result，结构化描述项目
- 对比分析：对于算法优化问题，从精度、速度、功耗等多维度权衡
- 从问题到解决方案：先分析痛点，再给出技术选型和实施步骤
- 请详细讲解你之前做的视觉算法项目，包括模型选择、训练策略和部署优化
- 如何平衡模型在端侧的精度和速度？请举例说明量化或剪枝的具体操作
- 介绍一下多模态对齐的常见方法，以及在XR场景中可能遇到的挑战
- 你对眼动追踪技术了解多少？如何设计一个实时的眼动追踪算法？
- 算法上线后，如何通过数据闭环持续提升模型表现？
职位点评
72
综合评分
大厂前沿算法岗，技术挑战大，薪资优厚，但工作强度可能较大。
更适合这类人
适合追求技术成长和高薪回报，能适应高强度工作的算法工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展90
工作生活50
使命价值65
薪资福利
85较高
大厂核心岗位，薪资具有竞争力，福利完善（五险一金、补充医疗、年终奖等），但未明确薪资范围。
薪资信号未披露（AI估算：25K-50K/月）
成长发展
90较高
前沿技术方向（眼动追踪、多模态、端侧部署），挑战性强，成长空间大；但JD未明确提及晋升通道。
技术前沿前沿/新兴技术
技术栈眼动追踪、情绪感知、多模态、深度学习、模型部署、量化、剪枝、Transformer、PyTorch、TensorFlow
业务类型profit_center
工作生活
50较低
仅现场办公，工作地点上海核心地段，但未提及弹性工时或WLB，互联网大厂加班较常见。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
65中等
XR与AI结合，推动人机交互创新，具有一定社会价值；但JD未强调使命或行业影响。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs