字节跳动
推荐大模型系统研发工程师-Data AML
推荐大模型系统研发工程师-Data AML
发布于 大约 14 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
本科
深度学习
PyTorch
TensorFlow
LLM
推荐系统
多模态
CUDA
并行计算
分布式训练
大模型
AI 估算 · 40k–70k
核心大模型工程岗，技术难度高，字节薪资有竞争力，按市场中等偏上估算。
职位详情
关于这个职位
这个职位是字节跳动Data AML部门的推荐大模型系统研发工程师，负责构建和优化超大规模推荐模型训练与推理系统，探索推荐领域的Scaling Law
你将参与多模态信号融合、LLM与推荐深度结合、以及分布式并行库的开发，解决万卡集群下的稳定性挑战
适合对分布式系统和大模型有热情、希望站在AI推荐技术前沿的工程师
最低要求
计算机、软件工程、人工智能等相关专业本科、硕士研究生或博士研究生，具有扎实的数据结构、算法和计算机体系结构基础
熟练掌握C++/Python/CUDA/Triton中至少一种语言，具备优秀的编程习惯和系统设计能力，能够编写高性能、可扩展的代码
深入理解TensorFlow、PyTorch、JAX等主流深度学习框架底层原理，有算子开发、性能调优或分布式训练实战经验
熟悉大规模分布式系统的设计与开发，了解常用的并行策略（数据并行、模型并行、专家并行、序列并行、流水线并行等）和并行库（DeepSpeed，Megatron等）
了解经典的搜广推算法（如DeepFM，DLRM，DIN等），了解主流的LLM技术（如Transformer，BERT，MoE，CLIP等）
对挑战性问题（如超长序列建模、万卡规模稳定性）有强烈的探索欲望，具备优秀的逻辑思维能力、独立解决问题的能力，以及团队合作精神
工作职责
激进扩大推荐模型的行为序列长度、参数规模和训练规模，验证推荐领域的Scaling Law
在亿级用户产生的数据上，构建推荐专用生成式模型的训练系统和推理系统
构建跨业务、跨端的推荐基座大模型，通过蒸馏的方式，赋能多个业务的下游模型
引入文本、图片、视频等多模态信号，增强推荐模型的信息输入，与协同信号联合训练
构建LLM的CPT/SFT/RL系统，与推荐模型深度融合、联合训练，推进LLM4Rec的落地
构建ND-Parallel并行库，支持超大规模的并行训练，优化训练效率，提升万卡集群的训练稳定性
研究业界领先的高性能计算技术、分布式计算技术和深度学习技术，不断提升上述系统的规模和性能的上限
优先资格
加分项
大模型实战：具有100B+规模大模型的预训练、微调或强化学习经验，深度优化过分布式训练系统的性能
多模态经验：具有多模态表征学习经验（如CLIP，BLIP，VLM），能够将视觉/文本特征有效融入推荐系统
底层优化：熟悉GPU架构，具备CUDA/Triton/Pallas编程经验，深入研究NCCL、RDMA和网络通信优化
框架剖析：深入研究过一种机器学习框架（Tensorflow/PyTorch/JAX或其他自研框架)的代码和设计
顶会论文：在RecSys，MLSys，NeurIPS，ICML，ICLR，KDD，SIGIR，CVPR等AI顶会有高质量论文发表
开源贡献：知名开源项目（如训练框架、并行库、高性能计算库）的核心贡献者，或拥有高质量个人开源项目
竞赛经历：在ACM-ICPC、Kaggle、天池等顶级算法竞赛中，或RecSys Challenge、KDD Cup、NeurIPS Competitions等顶会竞赛中，获得过优异成绩
AI 洞察
优缺点分析
- 处于AI推荐最前沿，技术积累含金量高
- 字节跳动核心部门，资源充足，项目影响力大
- 团队技术氛围浓厚，与顶级工程师共事，成长速度快
- 薪资待遇处于行业高位，期权潜力大
- 工作强度大，需面对万卡集群稳定性等棘手问题
- 技术迭代快，需要持续学习保持竞争力
- 跨团队协作复杂，对沟通和推动能力要求高
- 适合对分布式系统和推荐大模型有浓厚兴趣、乐于挑战技术难题、希望在核心岗位快速成长的资深工程师
角色解读
- 从技术骨干成长为分布式系统架构师，主导核心系统设计
- 在推荐大模型领域深耕，成为业界顶尖专家
- 后续可转向技术管理，带领团队攻克技术难题
- 设计和实现万亿级参数的推荐大模型训练与推理系统，优化万卡集群稳定性
- 探索推荐领域的Scaling Law，通过扩大序列长度、参数规模提升模型效果
- 融合文本、图像等多模态信号，构建跨业务推荐基座大模型，并利用蒸馏技术赋能下游
- 精通C++/Python/CUDA，具备高性能系统设计与编码能力
- 深入掌握TensorFlow/PyTorch等框架底层，有分布式训练实战经验
- 熟悉常见并行策略（数据、模型、流水线等）及DeepSpeed/Megatron并行库
- 了解推荐算法（DeepFM等）和LLM技术（Transformer、MoE等）
申请策略
- 关注字节Data AML部门的技术博客和分享，展现对业务的思考
- 面试中多结合具体案例说明解决问题的思路，体现系统性思维
- 主动提及对推荐大模型发展趋势的理解，展示技术热情
- 突出大规模分布式训练项目经验，如千卡/万卡集群调优
- 强调在深度学习框架中的底层优化经历（算子、通信等）
- 展示对推荐系统或大模型的理解，最好有相关落地成果
- 如有顶会论文或开源贡献务必醒目列出
- 补充CUDA/Triton编程和GPU架构知识
面试指南
- 分步骤回答：先说总体思路，再细化具体策略和实现，最后总结效果与反思
- 结合自身项目经验，用STAR法则（情境-任务-行动-结果）来结构化描述
- 遇到难题时，强调分析问题和实验验证的方法，体现逻辑性和系统性
- 请阐述推荐系统中Scaling Law的验证思路和数据规模估算
- 如何设计一个支持万卡并行训练的分布式训练框架？需要考虑哪些关键点？
- 在PyTorch/TensorFlow中实现一个自定义算子并进行性能调优，请举例说明
- 如何将多模态特征融入推荐模型？请描述技术方案
- 你遇到过的最棘手的分布式训练稳定性问题是什么？如何解决？
匹配度报告
76
综合匹配度
字节核心大模型岗位，前沿技术栈，薪资优厚，但工作强度大，WLB一般。
适合人群
强烈追求技术成长、希望站在行业前沿、对薪资有高期待且愿意接受高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利90
成长发展95
工作生活50
使命价值70
薪资福利匹配
90较高
字节跳动核心部门薪资待遇处于行业顶尖水平，且作为已上市巨头，福利和稳定性有保障，对补偿性动机满足度高。
薪资信号偏高 (40K-70K/月)
成长发展匹配
95较高
岗位涉及推荐大模型、Scaling Law、多模态等最前沿技术，提供巨大的学习成长空间，且是核心利润部门，发展前景极佳。
技术前沿前沿/新兴技术
技术栈推荐系统、大模型、分布式训练、Scaling Law、多模态、LLM、CUDA、DeepSpeed、Megatron
业务类型profit_center
工作生活匹配
50较低
北京现场办公，JD中多次出现“激进扩大”“万卡稳定性”等词暗示高强度，WLB信号缺失，生活化动机满足有限。
工作模式仅现场办公
办公地点未明确
加班情况JD含高强度暗示词
使命价值匹配
70中等
推荐大模型处于高速增长赛道，但对社会直接影响中性，追求意义感的求职者可能感受一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs