百度
大语言基座模型训练研究员 / 工程师（J100664）
大语言基座模型训练研究员 / 工程师（J100664）
发布于 大约 17 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
预训练
大语言模型
分布式训练
DeepSpeed
训练优化
FSDP
Megatron
长上下文
Mid-Training
AI 估算 · 30k–60k
百度大厂核心算法岗，大模型训练人才稀缺，薪资竞争力强，16薪。
职位详情
关于这个职位
作为百度大语言基座模型训练研究员/工程师，你将参与核心的预训练或中训练，推动base model能力演进，并开展长上下文、代码、数学、Agent等专项能力训练
你需要解决训练稳定性问题，优化训练recipe，并负责数据清洗与配比
这是一个深入大模型训练技术前沿、挑战与机遇并存的岗位
最低要求
计算机、数学、统计或相关专业硕士及以上学历，顶尖实验室/基座模型团队背景优先
有长上下文中训练、代码模型（SWE-bench/repo-level）或 Agent trajectory 数据训练经验者优先
有大模型预训练或 Mid-training 实际经历，能清楚描述数据来源、训练目标与评测指标
有顶会论文（NeurIPS、ICML、ICLR、ACL 等）、开源大模型核心贡献或模型技术报告经历者优先
对 base model 能力边界、中训练与 post-training 差异有清晰理解
熟悉主流分布式训练框架（Megatron、DeepSpeed、FSDP），理解 TP/PP/DP/Sequence Parallel 等并行策略
工作职责
参与大语言模型预训练或中训练（Mid-training），推动 base model 核心能力演进
开展长上下文（32K–256K+）、代码、数学、Agent 等专项能力中训练，构造合成/交互轨迹数据
负责训练数据的清洗、配比与质量评估，设计并迭代数据 recipe
设计并优化训练 recipe，包括训练目标、学习率策略、batch size、sequence length 等核心超参
定位和解决训练稳定性问题，如 loss spike、梯度异常、数据污染、短能力回退等
负责模型 checkpoint 分析、能力评测与训练 ablation，驱动训练效果持续提升
AI 洞察
优缺点分析
优点
- 百度大平台，核心AI部门，接触最前沿的大模型训练技术
- 参与训练百度文心大模型，技术积累含金量高，市场稀缺
- 团队牛人多，资源丰富，有大量GPU算力和数据支持
- 工作强度较大，需要快速解决训练中出现的各种稳定性问题
- 技术门槛高，需要持续跟踪最新论文和技术动态
- 竞争激烈，需要不断产出高质量成果以保持竞争力
- 适合对大型语言模型训练有浓厚兴趣，拥有分布式训练经验，并且能够在高压下解决复杂技术问题的深度学习工程师或研究员
缺点 / 挑战
暂无明显挑战项
角色解读
- 成为大模型训练领域的专家，主导下一代模型训练方案设计与优化
- 向技术Leader或首席科学家方向发展，带领团队攻克训练难题
- 有机会参与百度文心大模型的核心研发，影响数十亿用户产品的AI能力
- 参与大语言模型的预训练或中训练，推动模型核心能力演进
- 开展长上下文、代码、数学、Agent等专项能力训练，优化数据集和训练策略
- 负责训练稳定性问题定位与解决，如loss spike、梯度异常等
- 进行模型checkpoint分析、能力评测与ablation实验，持续提升训练效果
- 扎实的机器学习/深度学习基础，熟悉Transformer架构和大模型训练原理
- 精通分布式训练框架（Megatron、DeepSpeed、FSDP），理解TP/PP/DP等并行策略
- 有实际的大模型预训练或中训练项目经验，能独立设计训练recipe
- 熟悉数据清洗、配比与质量评估，有长上下文或Agent训练经验优先
申请策略
- 在申请时展示你对百度文心大模型技术的了解，以及你如何适应团队的文化和节奏
- 准备一个完整的训练项目案例，在面试中用STAR法则清晰讲解技术难点和解决方案
- 突出你参与的大模型预训练或中训练项目，详细说明数据来源、训练目标、评测指标和你的具体贡献
- 展示你在分布式训练框架（Megatron/DeepSpeed/FSDP）上的实践经验，以及解决训练稳定性问题的案例
- 列出顶会论文、开源大模型核心贡献或技术报告经历，证明你的影响力
- 强调你对于长上下文、代码、Agent等专项训练的理解和实际经验
- 深入学习Megatron-LM或DeepSpeed的源码，掌握TP/PP/DP并行策略的细节
- 了解最新的长上下文训练技术（如位置编码扩展、Ring Attention等）和Agent trajectory数据构造方法
面试指南
- 对于项目经验类问题，使用STAR法则（情境、任务、行动、结果）清晰陈述
- 对于技术问题，先阐述原理再结合实践经验，展示深度理解和解决实际问题的能力
- 对于开放性问题，可以从问题背景、现有方案、利弊分析和个人见解四个层面回答
- 请描述一个你参与过的大模型预训练或中训练项目，包括数据来源、训练目标、评测指标以及你的角色
- 在训练过程中遇到过loss spike或梯度异常吗？你是如何定位和解决的？
- 如何设计训练recipe？请举例说明学习率策略、batch size和sequence length的选择依据
- 解释分布式训练中TP、PP、DP、SP的区别及适用场景
- 你认为长上下文训练的关键技术挑战是什么？如何应对？
匹配度报告
74
综合匹配度
百度大模型核心岗，高薪前沿技术，但工作强度大，适合技术驱动型人才。
适合人群
该职位最适合追求技术成长、希望站在AI浪潮之巅的开发者和研究员，愿意为前沿技术付出高强度的努力。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展90
工作生活40
使命价值80
薪资福利匹配
85较高
百度作为上市巨头，提供有竞争力的薪资和福利（如五险一金、补充医疗、年终奖等），但JD未明确具体数值，整体补偿性较好。
薪资信号面议 (30K-60K/月)
成长发展匹配
90较高
该职位处于AI核心技术领域，参与千亿参数大模型训练，技术栈前沿，成长空间巨大。JD明确提及训练框架和专项能力，发展性极强。
技术前沿前沿/新兴技术
技术栈Megatron、DeepSpeed、FSDP、长上下文、Agent
业务类型profit_center
工作生活匹配
40较低
工作地点为北京，JD未提及远程或弹性办公，且大模型训练岗位通常需要高强度投入，生活平衡相对较差。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
80较高
大模型是当前科技发展的核心方向，百度文心大模型具有广泛社会影响力，参与其中能带来较强的使命感和价值感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs