字节跳动
多模态交互算法专家-PICO
多模态交互算法专家-PICO
发布于 1 天前普通员工/个人贡献者
北京市
专家级经验
全职员工
仅现场办公
硕士
强化学习
计算机视觉
预训练
LLM
模型优化
VLM
RL
多模态大模型
PPO
DPO
AI 估算 · 35k–65k
字节跳动PICO算法专家岗位，市场稀缺度高，需深厚大模型与RL经验，薪资对标一线大厂高级算法岗，竞争力强。
职位详情
关于这个职位
该职位负责多模态交互算法的前沿研究与落地，专注于大规模多模态理解与生成基础模型、Agent能力构建以及XR人机交互建模
你将探索VLM、LLM、强化学习等核心技术，参与从模型训练到产品应用的全链路开发，适合在AI领域有深厚积累且追求技术突破的研究型工程师
最低要求
硕士学位及以上，计算机、电子、数学等相关专业
熟悉多模态大模型（VLM）、大语言模型（LLM）相关的算法技术，在相关领域有过良好的项目经验或研究经验，熟悉大模型相关的数据构造方法、预训练、Post-training算法
熟悉LLM、VLM或Agent架构，熟悉RL算法（GRPO、PPO、DPO、判别式及生成式RM）、Multi-Agent算法+工程技术，有多模态内容理解应用、AI Agent应用经验的优先
工作职责
探索大规模多模态理解与生成的基础模型，结合眼动等生理信号进行指令微调、偏好对齐、模型优化，提升数据合成、Scalable Oversight、模型推理、规划能力，构建全面客观准确的评测系统，提升大模型能力
探索前沿技术方向包括但不限于多模态RAG、Memory、Visual CoT与Agent等领域多模态模型、VLA模型、世界模型进阶能力，构建GUI/XR等虚拟世界的通用多模态Agent能力
利用预训练、合成仿真等技术对XR虚拟世界/现实世界的各类人机交互动作与环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以多模态大模型+XR设备为核心的新技术、新产品
优先资格
具有扎实的数学、算法和机器学习基础，熟悉CV、RL、VLM、VLA等领域的技术，在CVPR、ECCV、ICCV、NeurIPS、ICLR、SIGGRAPH等会议/期刊上发表论文者优先
具有优秀的代码能力，熟悉VeRL、Trl、EasyR1等训练框架，在ACM/ICPC、NOI/IOI、Top Coder、Kaggle等比赛获奖者优先
从事过人机交互（眼动追踪、手势追踪）相关算法研究、在多模态、大模型、基础模型、强化学习、Agent等领域，主导过项目者优先
AI 洞察
优缺点分析
优点
- 身处AI前沿赛道（多模态+XR），技术壁垒高，个人增值快
- 字节跳动平台资源丰富，实验数据与算力支持充足，论文和专利产出机会多
- PICO业务仍处于增长期，产品落地场景明确，工作成就感强
- 跨学科知识要求高（CV、RL、NLP、交互设计），对综合能力要求严格
- 适合热爱前沿技术、具有强烈自驱力、能在多模态与强化学习交叉领域深耕的研究型工程师
缺点 / 挑战
- 技术栈复杂且迭代快，需持续跟进SOTA论文与开源框架，学习压力大
- 算法落地到硬件设备需考虑实时性与功耗限制，工程挑战较大
角色解读
- 技术深耕：从多模态模型研发逐步成为领域专家，主导核心技术突破
- 架构演进：向多模态Agent与XR交互架构师发展，定义下一代人机交互范式
- 管理转岗：积累项目主导经验后，可晋升为技术Leader，带领团队推动产品创新
- 设计并训练多模态大模型，结合眼动、手势等信号优化模型指令跟随与偏好对齐能力
- 构建XR环境下的通用Agent系统，实现视觉推理、交互决策和任务规划
- 利用合成仿真技术建模人机交互场景，推动多模态模型在PICO设备上的应用落地
- 深厚的VLM、LLM理论及实践经验，熟悉数据构造、预训练和Post-training全流程
- 精通强化学习算法（GRPO、PPO、DPO等），能独立设计RM和训练框架
- 具备扎实的代码能力，掌握VeRL、Trl等训练框架，有ACM/Kaggle获奖经历者优先
申请策略
- 关注字节跳动PICO部门的技术博客与开源项目，面试中可结合其产品方向展示见解
- 准备一个端到端的多模态Agent demo，证明动手能力
- 突出多模态或大模型相关项目经历，包括模型训练、微调、部署的具体成果
- 强调RL算法的实际应用经验，如使用GRPO/PPO优化模型性能的案例
- 列出高质量论文发表（CVPR/NeurIPS等）或顶级竞赛获奖（ACM/Kaggle）
- 补充RL框架（VeRL、Trl、EasyR1）的使用熟练度，动手复现经典论文
- 学习XR交互基础（眼动追踪、手势识别），了解PICO设备SDK
面试指南
- STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)，结构化展示项目经验
- 原理+对比：阐述算法原理，再对比不同方法优劣，体现深度理解
- 场景驱动：结合XR实际场景（如手势识别、视线追踪）说明技术选型理由
- 请详细讲述你参与过的多模态大模型训练项目，包括数据构造、模型架构、训练策略和遇到的挑战
- 对比GRPO和PPO的异同，哪种场景更适合使用GRPO？请举例说明
- 如何设计一个面向XR场景的多模态Agent？需要哪些关键模块？
- 你如何看待眼动信号在多模态交互中的作用？如何将其融入模型训练？
- 请从代码角度解释VeRL训练框架的核心流程
匹配度报告
70
综合匹配度
大厂前沿AI岗位，技术栈领先，成长空间大，但工作强度与WLB需权衡。
适合人群
适合追求技术成长、愿意在高压力高回报环境中快速提升的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利78
成长发展92
工作生活40
使命价值70
薪资福利匹配
78中等
字节跳动为上市大厂，薪资福利在行业内有竞争力，但JD未明确透露具体薪酬福利内容，只能基于平台判断薪酬水平中上。
薪资信号未披露（AI估算：35K-65K/月）
成长发展匹配
92较高
职位涉及多模态、RL、Agent等前沿技术，且鼓励论文发表和竞赛获奖，成长空间极大。
技术前沿前沿/新兴技术
技术栈多模态大模型、VLM、LLM、强化学习、RL、Agent、眼动追踪、手势追踪、VeRL、Trl、EasyR1
成长机会探索前沿技术方向、CVPR、ECCV、ICCV、NeurIPS、ICLR、SIGGRAPH等会议/期刊上发表论文者优先
业务类型profit_center
工作生活匹配
40较低
职位为现场办公，未提及弹性工作或WLB信息，北京字节跳动通常工作强度较大。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
70中等
多模态XR交互是未来趋势，具有较强的前沿探索意义，但社会直接影响力尚不明确。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs