字节跳动
大模型后训练优化工程师-Seed
大模型后训练优化工程师-Seed
发布于 大约 2 个月前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
本科
软件工程
分布式系统
大模型训练
系统架构
高性能计算
CUDA
LLM
RDMA
RL
AI 估算 · 35k–65k
高级工程师岗位，字节跳动薪资有竞争力，上海生活成本高，结合市场水平估算。
职位详情
关于这个职位
这是一个面向大模型后训练优化的高级工程师职位，隶属于字节跳动Seed团队
你将负责超大规模机器学习系统架构的设计与开发，解决可扩展性、高可靠性等关键技术问题，并与算法团队深度合作进行联合优化
适合对前沿技术充满热情、具备攻坚克难能力的资深工程师
最低要求
本科及以上学历，计算机、软件工程、人工智能等相关专业优先
具备工程或机器学习算法领域的深厚功底和算法相关经验
历史上解决过复杂技术难题，遇到问题能深入底层、敏锐观察、逻辑清晰，具备迎难而上的攻坚能力
由衷热爱技术，有强烈的工作责任心、优秀的学习能力与自驱力
具备良好的沟通协作能力，能与团队共同探索新技术、推进技术落地与迭代
对前沿技术保持敏感与持续关注，具备一定工程管理与流程优化能力，能推动项目高效落地
工作职责
负责超大规模机器学习系统架构的设计与开发，解决系统可扩展性、高可靠性、易用性等关键技术问题
负责机器学习系统前瞻技术的调研和落地，以前瞻视角实现业界领先的超大规模训练方案
与算法部门深度合作，进行算法与系统的联合优化，覆盖Pretrain、RL、新硬件适配等多个场景
负责机器学习基础框架与迭代脚手架的更新、重构与持续优化，提升研发效率与工程标准化水平
优先资格
熟悉LLM、NLP、CV、语音相关算法与技术，有大模型训练、Diffusion、RL算法相关经验者优先
有以下某一方向领域经验：高性能计算/CUDA、RDMA/通讯库，低精度/压缩/矩阵分解，存储和IO，异构加速硬件体系、分布式系统和大数据架构、系统算法联合优化
熟悉完整算法研发与训练流程，具备综合系统设计与整体方案规划能力者优先
AI 洞察
优缺点分析
优点
- 加入顶尖AI团队（Seed），参与业界领先的大模型研发，技术积累深厚
- 工作内容涉及前沿技术（分布式、CUDA、RL），技能树极具竞争力
- 字节跳动平台大，资源丰富，项目影响力广，豆包等产品用户量第一
- 团队注重长期愿景，鼓励技术创新，成长空间大
- 对技术深度要求高，需要同时掌握工程和算法知识，学习曲线陡峭
- 适合对AI底层系统有浓厚兴趣、热爱技术攻坚、渴望在超大规模训练领域成为专家的资深工程师
缺点 / 挑战
- 工作强度较大，互联网大厂通常节奏快，需应对复杂问题的压力
- 团队分布全球，可能需要跨时区协作，沟通成本较高
角色解读
- 在技术上深入超大规模训练系统，成为分布式AI架构的专家
- 可向技术负责人或架构师方向发展，主导系统设计与技术决策
- 在Seed团队接触前沿AI研究，有机会从工程转向算法研究交叉领域
- 设计并开发超大规模机器学习系统架构，解决可扩展性和高可靠性问题
- 调研并落地前沿机器学习系统技术，保持训练方案的业界领先
- 与算法团队紧密协作，优化预训练、强化学习等场景中的算法与系统配合
- 持续重构和优化基础框架与迭代工具链，提升工程效率与标准化水平
- 深厚的工程或机器学习算法功底，具备解决复杂技术难题的能力
- 熟悉分布式系统、高性能计算、CUDA、RDMA等底层技术
- 了解LLM、NLP、CV、语音等算法，有大模型训练经验者优先
- 优秀的沟通协作与自驱学习能力，能推动项目高效落地
申请策略
- 在简历中明确表达对AI系统创新的热情，以及对字节跳动Seed团队的了解
- 准备系统设计面试，尤其是大规模分布式场景下的架构方案
- 突出过往在分布式系统、高性能计算或大模型训练方面的项目经验
- 展示解决复杂技术难题的具体案例，强调攻坚能力和技术深度
- 列举与算法团队合作优化的成功经历，体现跨职能协作能力
- 如有开源贡献或技术博客，可体现技术热情和影响力
- 如果缺乏CUDA或RDMA经验，建议通过实战项目或线上课程补充
- 深入了解大模型训练框架（如Megatron、DeepSpeed）的原理
面试指南
- 对于系统设计题，先明确需求（规模、延迟、吞吐等），再比较不同架构优缺点，最后给出具体方案
- 对于技术原理题，先解释核心概念，然后结合实践经验说明优化思路
- 对于协作类问题，采用STAR原则：情境、任务、行动、结果，突出沟通和推动能力
- 请描述你参与过的最复杂的分布式训练系统架构，以及遇到的挑战和解决方案
- 如何优化大模型训练中的通信开销？谈谈你对All-Reduce、Ring等算法的理解
- 假设需要将一个大模型从单机扩展至千卡集群，你会如何设计训练流程？
- 你如何看待RLHF中的系统优化？有哪些关键技术点？
- 请用具体的项目经历说明你如何与算法团队协作，推动联合优化
职位点评
75
综合评分
顶尖大模型团队，前沿技术栈，薪资丰厚，但工作强度大、WLB一般。
更适合这类人
最适合追求技术成长和前沿挑战的求职者，对薪资和职业发展有高要求，能接受高强度工作。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
字节跳动薪资处于行业顶尖，上市后股票有保障，福利完善，但职位未明确薪资范围。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
95较高
该职位处于AI最前沿，技术栈先进，团队重视创新和成长，学习机会极多。
技术前沿前沿/新兴技术
技术栈大模型训练、分布式系统、CUDA、RDMA、RL
业务类型profit_center
工作生活
40较低
上海核心地段办公，但互联网大厂工作强度大，未提及WLB政策。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
大模型行业高速增长，工作具有社会影响力，但职位本身偏工程实现，使命信号不明显。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号为科技和社会发展作出贡献
创新程度积极采用新技术
字节跳动 的其他在招职位
相似职位推荐
Watch Jobs