可画
Research MLE (Training Optimization）大模型训练优化工程师
Research MLE (Training Optimization）大模型训练优化工程师
发布于 大约 2 个月前普通员工/个人贡献者
全职员工仅现场办公研究与开发 (研发)
研究与开发 (研发)
Cuda
Fsdp
Jax
Llm
Megatron-Lm
Nemo
Pytorch
分布式训练
多模态
值不值得投
71综合评分
综合评分 71
前沿AI大模型训练优化岗，技术天花板高，薪资优厚，但工作强度大，需现场办公。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
50K
比研究与开发 (研发)中位数高
发布情况
长期在招 · 50 天前发布
公司情况
公司还在招多个职位
7 个在招 · 其中研究与开发 (研发) 3 个
市场机会
选择面较广
北京 · 研究与开发 (研发) · 约 1160 个在招
职位详情
关于这个职位
该职位专注于大模型训练系统的优化与扩展，涉及分布式训练、GPU内核优化和性能调优
你将与顶尖研究团队合作，利用Megatron-LM、NeMo等框架，提升训练效率，直接影响Canva的AI产品
适合对系统与算法交叉领域有热情、追求技术深度的工程师
最低要求
Strong background in LLMs, multimodal AI, or diffusion models.
Proficiency in Python. Familiarity with a system programming language (e.g. C++ or Rust) is a plus.
Deep knowledge of PyTorch or JAX as well as libraries such as Megatron-LM, NeMo, or DeepSpeed.
Familiarity with common optimization techniques such as FSDP/ZeRO, gradient checkpointing, or low-precision data types.
Hands-on experience writing custom GPU kernels in CUDA or Triton.
Excellent communication and problem-solving skills, incl. full proficiency in English.
工作职责
You’ll design, implement, and optimize large-scale machine learning systems for training.
You’ll improve all aspects of performance, including GPU utilization, communication overhead, and memory efficiency.
You’ll partner with research and modeling teams to align systems with algorithmic needs.
You’ll evaluate and apply best practices for distributed training using industry-leading frameworks.
You’ll dive deep into low-level optimization, including custom CUDA or Triton kernels.
You’ll debug, profile, and fine-tune training workflows to unlock new levels of scalability.
AI 洞察
优缺点分析
优点
- 核心技术岗位，深度参与大模型训练优化，技术成长极快
- Canva作为设计独角兽，AI投入大，产品全球用户，影响力显著
- 团队技术氛围浓厚，使用业界最前沿的分布式训练技术
- 跨国协作，与全球顶尖AI研究者和工程师交流
- 工作强度大，需要持续跟踪最新技术并快速部署
- 系统级调试复杂，对底层硬件和软件栈知识要求极高
缺点 / 挑战
- 需要与多个团队协作，沟通成本较高，同时要求英文流利
- 适合热爱系统与算法结合、享受挑战、追求技术极致的工程师，特别是对大模型基础设施优化有强烈兴趣的候选人
角色解读
- 向系统与算法交叉领域的资深专家发展，主导下一代训练技术
- 可晋升为技术负责人或架构师，领导分布式系统团队
- 积累大规模AI基础设施经验，未来可转向AI平台或基础模型公司
- 设计和实现大规模分布式训练系统，优化GPU利用率和通信效率
- 与研究和建模团队合作，确保系统与算法需求对齐
- 编写自定义CUDA或Triton内核，进行底层性能调优
- 调试和分析训练流程，解决可扩展性瓶颈
- 精通Python，熟悉系统编程语言如C++或Rust
- 深入掌握PyTorch或JAX，以及Megatron-LM、NeMo等分布式框架
- 有FSDP/ZeRO、梯度检查点、低精度训练等优化经验
- 实际编写CUDA或Triton内核的经验
申请策略
- 在简历和面试中强调系统优化思维和成果量化
- 研究Canva现有AI产品，提出可改进的训练效率建议
- 突出分布式训练项目经历：具体规模、使用框架、优化成果
- 强调CUDA或Triton内核开发经验，附上性能提升数据
- 展示对PyTorch/JAX和Megatron-LM等框架的深入理解
- 列出参与过的相关AI或系统方向开源贡献
- 熟悉Megatron-LM和NeMo的架构与实践，可阅读源码或贡献
- 学习CUDA编程和GPU架构，动手编写简单内核
面试指南
- 使用STAR法则描述项目：场景、任务、行动、结果，重点量化性能提升
- 对比不同技术时，从内存、通信、计算三个维度分析
- 优化问题从数据输入、模型结构、并行策略、底层内核逐层排查
- 请描述你设计过的分布式训练系统，遇到了哪些性能瓶颈？如何解决？
- 解释FSDP与DeepSpeed ZeRO的异同，以及适用的场景
- 如何优化一个PyTorch训练脚本的GPU利用率？请具体步骤
- 写一个简单的CUDA kernel实现矩阵乘法，讲优化思路
- 复习分布式训练理论和代码实践，准备可展示的GitHub项目
职位点评
薪资福利70
成长发展95
工作生活40
使命价值70
薪资福利
70中等
薪资未披露但根据行业和公司层级预估处于市场高端，福利未提及，但外企通常福利完善。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
95较高
该岗位处于AI核心技术前沿，使用最先进的分布式训练技术，成长空间极大，但未明确提晋升路径。
技术前沿前沿/新兴技术
技术栈LLM、多模态、Megatron-LM、NeMo、FSDP、Triton、CUDA
业务类型profit_center
工作生活
40较低
要求现场办公，未提弹性工作或远程，未提WLB，可能面临较强的工作强度。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI设计领域增长快，但社会影响力中性，技术前沿但有商业导向，使命感一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
可画 的其他在招职位
相似职位推荐
Watch Jobs