智谱
预训练算法工程师
预训练算法工程师
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Deepspeed
Huggingface
Nlp
Pytorch
大模型预训练
数据合成
值不值得投
79综合评分
综合评分 79
前沿大模型技术、高技术挑战、强发展导向，适合追求技术深度的专业人才
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 100 个在招 · 其中机器学习工程 16 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 580 个在招
职位详情
关于这个职位
负责数学或代码大模型的预训练、对齐及评测工作，构建并优化高质量训练数据
探索数据合成方法以提升模型在特定任务上的泛化能力，需具备扎实的深度学习框架使用经验和Transformer架构理解
最低要求
自然语言处理、机器学习等相关专业，硕士及以上学历
较强的算法开发能力，熟悉常用的机器学习、深度学习算法
熟练使用Pytorch、Huggingface、DeepSpeed等框架
对Transformer的架构有较为深入的理解，了解Transformer的各种变体，有相关的研究经验者优先
工作职责
参与数学或代码大模型预训练的研发工作，包括模型的预训练、对齐和评测等
负责构建和优化数学或代码的预训练和对齐数据，提升模型在数学或代码任务上的效果
探索针对数学或代码任务的数据合成方法，提升模型在数学或代码任务上的泛化能力
优先资格
加分项：
在ACL，NeurIPS，ICLR，EMNLP等顶级会议或期刊上发表过论文者优先
熟悉并行训练框架，有多机多卡训练经验者优先
熟悉CUDA编程/Triton编程，有相关算子加速经验者优先
AI 洞察
优缺点分析
优点
- 处于AI前沿赛道，接触大规模分布式训练和前沿模型架构，技术成长极快
- 对学历（硕士及以上）和科研背景要求高，竞争激烈
- 需掌握CUDA/Triton等底层优化技能，学习曲线陡峭
- 拥有扎实机器学习理论基础、具备顶级会议论文发表经历或高性能计算经验的算法工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向首席算法科学家、大模型架构师方向发展，或在垂直领域（如代码智能、数学推理）成为专家
- 专注于数学和代码领域的大语言模型（LLM）预训练与对齐技术研发
- 精通PyTorch/HuggingFace/DeepSpeed等主流框架，深入理解Transformer架构及其变体
申请策略
- 准备展示对Transformer最新变体（如MoE, FlashAttention等）的理解，以及数据合成的高质量案例
- 突出大模型预训练/微调项目经验，强调在数学或代码领域的具体成果，列出顶会论文或开源贡献
- 深入学习DeepSpeed等并行训练策略，掌握CUDA/Triton算子编写以优化训练效率
面试指南
- 采用STAR法则描述项目，重点突出数据质量对模型效果的影响，以及通过底层优化（如显存管理、通信优化）提升训练效率的具体手段
- 请详细介绍你参与过的一个大型模型训练项目，遇到的最大挑战是什么？
- 如何设计数据合成 pipeline 来提升模型在数学任务上的泛化能力？
- 对比不同Transformer变体的优劣，并结合业务场景说明选择理由
- 复习Transformer核心原理，熟悉当前SOTA的大模型训练技巧（如混合精度、梯度检查点），准备1-2个深度技术案例
职位点评
薪资福利85
成长发展95
工作生活50
使命价值75
薪资福利
85较高
作为B轮中型AI企业，为吸引高端算法人才，通常提供具有竞争力的薪酬包，但稳定性略低于成熟大厂。
薪资信号未披露（AI估算：3.0千–6.0万/月）
成长发展
95较高
职位涉及最前沿的大模型预训练和数据合成技术，技术栈极具前瞻性，个人成长空间巨大。
技术前沿前沿/新兴技术
技术栈Transformer、Pytorch、Huggingface、DeepSpeed、CUDA、Triton
业务类型profit_center
工作生活
50较低
JD未明确提及弹性工作制或WLB保障，AI行业普遍节奏较快，可能面临一定的工作强度。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
致力于提升AI在数学和代码等高难度任务上的能力，推动通用人工智能的发展，具有显著的技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
智谱 的其他在招职位
相似职位推荐
Watch Jobs