Watch Jobs
Alibaba logo
阿里巴巴
算法工程师-大模型预训练 (Pre-training)
立即应聘

算法工程师-大模型预训练 (Pre-training)

发布于 大约 3 小时前

普通员工/个人贡献者

北京市 / 杭州市
初级经验
全职员工
仅现场办公
本科
机器学习工程
Kv Cache压缩
Moe
Scaling Law
模型蒸馏
注意力机制
深度学习
课程学习
Lr Scheduler
Optimizer优化

AI 估算 · 25k–50k

大模型预训练为AI前沿方向，技能稀缺，一线大厂薪资竞争力强，通常16薪。

职位详情

关于这个职位

该职位负责大规模预训练模型的前沿技术研究，包括数据合成、训练优化、模型结构探索等方向

你将参与训练稳定、可解释性、长序列优化等核心技术攻坚，推动大模型能力持续突破
适合对AI底层技术有浓厚兴趣、希望深度参与预训练研究的算法工程师

最低要求

本科及以上学历，计算机科学、人工智能、机器学习能等相关专业优先

模型结构优化探索：MoE 优化、参数扩展与裁剪蒸馏、线性注意力、稀疏注意力、位置编码改进、多模态模型结构优化、动态计算优化、KV cache压缩、长序列优化、draft model 优化、decoding 加速等
训练优化理论与策略探索：训练稳定性优化、optimizer 优化、lr scheduler 优化、scaling law 预测、超参优化、预训练损失函数探索、遗忘对抗与持续学习、模型可解释性、课程学习等
具备独立思考能力和系统性研究思维，具备较强的动手能力，敢于挑战现有范式，能够独立应用技术解决复杂问题

工作职责

大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向test-time scaling的数据优化

新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law预测、超参优化
新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等

AI 洞察

优缺点分析

优点

  • 接触最前沿的AI技术，如大模型预训练、MoE等，技术成长快
  • 阿里巴巴提供海量算力和数据资源，平台优势明显
  • 薪资福利在大厂中具有竞争力，且有期权激励
  • 预训练研究门槛高，需要扎实的理论基础和动手能力
  • 工作强度较大，可能需要应对复杂的科研项目和紧急需求
  • 竞争激烈，需要持续学习保持技术领先
  • 适合对AI前沿技术充满热情、具备扎实算法基础和研究能力的工程师

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向技术专家方向深耕，成为预训练算法领域的领军人物
  • 可转向AI基础设施或框架开发，或向技术管理岗位发展
  • 负责大规模预训练数据合成与优化，提升模型知识密度和推理能力
  • 探索新型训练损失函数、优化器和学习率调度，提升训练效率与稳定性
  • 优化模型结构如MoE、注意力机制，降低计算成本并加速推理
  • 熟悉深度学习框架（如PyTorch）和大规模分布式训练技术
  • 掌握Transformer、MoE等模型结构，深入理解注意力机制原理
  • 具备扎实的数学和机器学习基础，熟悉scaling law与超参调优

申请策略

  • 关注阿里巴巴达摩院或相关团队的论文，了解研究方向
  • 准备技术分享，展示对预训练技术的深刻见解
  • 突出大模型相关项目经验，包括预训练、微调等
  • 强调对模型结构、优化算法等底层原理的理解
  • 展示数据工程和分布式训练经验
  • 熟悉主流大模型框架，如DeepSpeed、Megatron
  • 补充对MoE、稀疏注意力等前沿结构的了解

面试指南

  • 采用STAR法则（情境、任务、行动、结果）描述项目
  • 从原理到实践，先阐明理论基础，再结合具体方案
  • 展示系统思考，从数据、模型、训练三个维度综合回答
  • 请谈谈你对scaling law的理解，如何应用到实际训练中？
  • 如何优化大规模预训练中的数据质量和数量？
  • 你如何看待MoE模型的优势和挑战？
  • 如何设计一个高效的KV cache压缩方案？
  • 如何解决预训练中的灾难性遗忘问题？

职位点评

78
综合评分

顶级大厂，前沿技术，薪资高，但工作强度可能较大。

从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。

更适合这类人
该职位最适合追求技术成长和职业发展的人才，尤其是对AI前沿研究有强烈兴趣的工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展90
工作生活50
使命价值80

薪资福利

85较高

一线互联网大厂，薪资和福利属市场高位，但JD未具体说明薪资，整体具备较强吸引力。

薪资信号未披露（AI估算：25K-50K/月）

成长发展

90较高

岗位处于AI前沿领域，技术深度和广度兼具，提供极佳的学习和成长环境。

技术前沿前沿/新兴技术
技术栈MoE、scaling law、注意力机制、KV cache、optimizer优化、预训练
业务类型profit_center

工作生活

50较低

工作地点明确但未提及灵活办公，大厂节奏通常较快，工作与生活平衡一般。

工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）

使命价值

80较高

AI技术具有广泛的社会影响力，预训练研究推动行业进步，使命感较强。

行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术

阿里巴巴 的其他在招职位

相似职位推荐

Watch Jobs