可画
Machine Learning Engineer (Training Optimization)
Machine Learning Engineer (Training Optimization)
发布于 6 个月前普通员工/个人贡献者
全职员工仅现场办公软件工程
软件工程
分布式训练
CUDA
DeepSpeed
FSDP
JAX
Megatron-LM
NVIDIA NeMo
PyTorch
值不值得投
74综合评分
综合评分 74
前沿大模型训练优化岗，技术成长极快，薪资优厚，但WLB一般。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
比软件工程中位数高
发布情况
长期在招 · 168 天前发布
公司情况
公司还在招多个职位
8 个在招
市场机会
选择面较广
北京 · 软件工程 · 约 2500 个在招
职位详情
关于这个职位
该职位是Canva公司的大模型训练优化工程师，负责设计和优化大规模多模态与基础模型的分布式训练系统
你将使用Megatron-LM、NVIDIA NeMo、FSDP和Triton等框架，深入底层优化GPU利用率、通信开销和内存效率，与研究和建模团队紧密协作，推动AI辅助设计的核心技术发展
适合对系统优化和AI研究充满热情的工程师
最低要求
具备LLMs、多模态AI或扩散模型的扎实功底
精通Python
熟悉C++或Rust等系统编程语言者优先
深入了解PyTorch或JAX，以及Megatron-LM、NeMo、DeepSpeed等库
熟悉常见优化技术，如FSDP/ZeRO、梯度检查点或低精度数据类型
具备使用CUDA或Triton编写自定义GPU内核的实践经验
出色的沟通和解决问题的能力，英语流利
工作职责
设计、实现和优化大规模机器学习训练系统
改进性能的所有方面，包括GPU利用率、通信开销和内存效率
与研究及建模团队合作，使系统与算法需求保持一致
评估并应用分布式训练的最佳实践，使用行业领先框架
深入底层优化，包括自定义CUDA或Triton内核
调试、分析和微调训练工作流，以解锁新的可扩展性水平
AI 洞察
优缺点分析
优点
- 职位聚焦大模型训练优化，属于AI领域最前沿的技术方向，积累的经验极具市场价值
- Canva是视觉设计领域的独角兽，AI部门技术氛围浓厚，团队跨全球协作，有机会接触顶级研究
- 岗位技术栈全面，涉及分布式系统、GPU编程、模型压缩等多领域，成长空间大
- 技术难度高，需要同时掌握系统、算法和硬件知识，对学习能力要求极高
- 分布式训练调试复杂，可能面临长时间的性能调优和问题排查，工作强度较大
- 作为面向所有经验阶段的岗位，竞争激烈，需要在实际项目中有深入的技术积累
缺点 / 挑战
- 适合对系统级优化充满热情、喜欢挑战技术极限的工程师，尤其是对大模型训练和GPU编程有浓厚兴趣的候选人
角色解读
- 从训练优化工程师起步，可向AI系统架构师或资深研究科学家发展，负责更大规模集群的架构设计
- 积累对底层硬件的理解，未来可转向AI芯片或编译器方向，或成为团队技术负责人
- 在Canva内部，表现优异者可参与核心模型研发，甚至主导下一代基础模型的设计
- 设计并优化大规模分布式训练系统，使用Megatron-LM、NeMo等框架提升训练效率
- 深入底层进行性能调优，包括编写自定义CUDA/Triton内核，减少通信开销和内存占用
- 与算法研究团队紧密合作，确保训练系统适配新型模型结构，推动技术落地
- 精通Python和PyTorch/JAX，熟悉分布式训练框架（Megatron-LM、DeepSpeed等）
- 具备CUDA/Triton内核开发经验，能进行底层性能优化
- 理解LLM、多模态模型或扩散模型的训练原理和常见优化技术（FSDP、梯度检查点等）
申请策略
- 在简历中量化你的优化成果（如“将训练速度提升2倍”），用数据说话
- 了解Canva的AI产品方向（如智能设计、视频生成），在面试中展示你的技术如何赋能业务
- 突出分布式训练项目经验，包括使用的框架、集群规模、优化成果（如吞吐量提升百分比）
- 强调CUDA或Triton内核开发的具体案例，展示底层优化能力
- 如有LLM/多模态模型相关研究或工业落地经历，重点描述模型架构与训练策略
- 系统学习Megatron-LM或DeepSpeed的源码，理解并行策略（TP/PP/DP）的实现细节
- 动手实践CUDA编程，例如实现一个简单的算子并进行性能分析
- 关注最新的大模型训练优化论文和开源框架，保持技术前沿敏感度
面试指南
- 技术对比类问题：先定义核心概念，然后列举关键差异（如通信模式、显存占用），再结合实际场景给出选择理由
- 优化诊断类问题：遵循“观察→假设→实验→验证”的步骤，强调系统性分析和数据驱动
- 方案设计类问题：明确目标（吞吐/显存/扩展性），分步阐述模型并行、数据并行、优化器选择等，并说明权衡
- 请解释Megatron-LM中的张量并行和流水线并行的原理及优缺点
- 如何在训练过程中诊断GPU利用率低的问题？你通常会采取哪些优化步骤？
- 描述你过去使用CUDA编写内核的经历，遇到了哪些内存或计算瓶颈？如何解决？
- FSDP和DeepSpeed ZeRO-3有何异同？在什么场景下选择其中一个？
- 如果我们要训练一个1B参数的扩散模型，你会如何设计分布式训练方案？
职位点评
薪资福利80
成长发展95
工作生活40
使命价值70
薪资福利
80较高
岗位薪资竞争力强，但JD未披露具体薪酬福利，仅提到面向所有经验阶段，整体补偿性较好。
薪资信号未披露（AI估算：3.0–6.0万/月）
成长发展
95较高
岗位涉及最前沿的大模型训练优化技术，提供与顶级研究团队合作的机会，成长空间巨大。
技术前沿前沿/新兴技术
技术栈Megatron-LM、NVIDIA NeMo、FSDP、Triton、CUDA、分布式训练、LLM、多模态
业务类型profit_center
工作生活
40较低
仅现场办公，未提及弹性工作或WLB，北京科技企业通常工作强度较高，生活化满足有限。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
Canva致力于民主化设计，AI赋能创意有社会价值，但岗位偏底层系统，使命感间接体现。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
可画 的其他在招职位
相似职位推荐
Watch Jobs