百度
大语言基座模型训练研究员 / 工程师（J100842）
大语言基座模型训练研究员 / 工程师（J100842）
发布于 大约 17 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
预训练
大语言模型
分布式训练
DeepSpeed
FSDP
Megatron
长上下文
Mid-Training
Agent训练
AI 估算 · 30k–60k
百度大模型核心岗位，技术门槛高，市场稀缺，薪资处于行业领先水平。
职位详情
关于这个职位
该职位负责百度大语言模型基座的预训练与中训练，推动模型核心能力演进
你将参与长上下文、代码、数学、Agent等专项训练，设计数据recipe和训练超参，解决训练稳定性问题
适合有NLP大模型训练经验、熟悉分布式框架的研究员或工程师
最低要求
计算机、数学、统计或相关专业硕士及以上学历
工作职责
参与大语言模型预训练或中训练（Mid-training），推动 base model 核心能力演进
开展长上下文（32K–256K+）、代码、数学、Agent 等专项能力中训练，构造合成/交互轨迹数据
负责训练数据的清洗、配比与质量评估，设计并迭代数据 recipe
设计并优化训练 recipe，包括训练目标、学习率策略、batch size、sequence length 等核心超参
定位和解决训练稳定性问题，如 loss spike、梯度异常、数据污染、短能力回退等
负责模型 checkpoint 分析、能力评测与训练 ablation，驱动训练效果持续提升
优先资格
有长上下文中训练、代码模型（SWE-bench/repo-level）或 Agent trajectory 数据训练经验者优先
有大模型预训练或 Mid-training 实际经历
有顶会论文（NeurIPS、ICML、ICLR、ACL等）、开源大模型核心贡献或模型技术报告经历者优先
对 base model 能力边界、中训练与 post-training 差异有清晰理解
熟悉主流分布式训练框架（Megatron、DeepSpeed、FSDP），理解 TP/PP/DP/Sequence Parallel 等并行策略
AI 洞察
优缺点分析
优点
- 百度大模型团队核心岗位，参与前沿技术研发，技术积累深厚
- 有机会推动中国最强AI模型之一的发展，影响力大
- 与顶尖科研团队合作，个人成长空间大
- 技术迭代快，需要不断学习最新论文和技术
- 面临激烈的行业竞争和人才争夺
- 适合对NLP和大模型有浓厚兴趣、具备扎实深度学习基础、愿意投入大量时间钻研技术的工程师/研究员
缺点 / 挑战
- 大模型训练计算资源消耗大，工作强度可能较高
角色解读
- 成为大模型训练专家，主导核心模型训练
- 向技术负责人或架构师方向发展，带领团队优化训练系统
- 深入AI前沿研究，发表顶会论文或推动开源项目
- 参与大语言模型的预训练和中训练，推动base model核心能力演进
- 负责训练数据的清洗、配比与质量评估，设计并迭代数据recipe
- 设计优化训练超参，定位解决训练稳定性问题
- 进行模型checkpoint分析与能力评测，驱动训练效果提升
- 扎实的深度学习和大模型理论基础，熟悉transformer架构
- 熟练使用主流分布式训练框架如Megatron、DeepSpeed，理解并行策略
- 有实际的大模型预训练或中训练经验，能优化训练recipe
- 较强的分析能力和问题定位能力，能处理训练中的异常
申请策略
- 了解百度文心大模型的发展方向，在面试中展现对技术的热情和理解
- 准备一个代表性的训练项目案例，展示问题解决过程
- 突出大模型预训练或中训练的实际项目经历，详细描述数据来源、训练目标和结果
- 体现对分布式训练框架的熟练程度，如Megatron、DeepSpeed等
- 如有顶会论文或开源贡献，务必重点展示
- 强调解决训练稳定性问题的能力
- 深入学习LLM训练技术，如长上下文扩展、强化学习等
- 动手实践分布式训练框架，理解并行策略
面试指南
- 对于技术问题，采用STAR法则（情境-任务-行动-结果）描述项目经历
- 对于开放性问题，先给出定义或背景，再分析，最后举例
- 对于策略问题，提出多种方案并比较优劣，展示思考深度
- 请详细描述你参与过的大模型训练项目，包括数据、模型架构、训练策略和结果
- 如何处理训练中的loss spike和梯度异常？请举例说明
- 请解释Megatron中的TP/PP/DP的区别和适用场景
- 如何设计数据recipe来提升模型在长上下文任务上的表现？
- 你对mid-training和post-training的理解是什么？它们如何协同？
匹配度报告
75
综合匹配度
百度大模型核心岗位，前沿技术，高成长高回报，但工作强度大。
适合人群
最适合追求技术前沿和快速成长、对薪资和发展有高要求、能接受高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利80
成长发展95
工作生活40
使命价值85
薪资福利匹配
80较高
百度作为上市巨头，提供具有竞争力的薪资、股票和全面的福利保障，符合补偿性动机。
薪资信号未披露（AI估算：30K-60K/月）
成长发展匹配
95较高
该职位处于AI最前沿的大模型训练领域，技术深度和广度兼备，个人成长速度极快。
技术前沿前沿/新兴技术
技术栈大语言模型、预训练、Mid-training、Megatron、DeepSpeed、FSDP、长上下文
业务类型profit_center
工作生活匹配
40较低
北京核心区域办公，但大模型训练工作强度大，可能面临较大压力，WLB一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
85较高
参与构建中国顶尖大模型，推动AI技术在各行各业的应用，具有较高的社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs