Token Foundry-大模型训练Infra工程师-训练稳定性方向

优缺点分析

角色解读

• 技术专家路线：深耕分布式系统、稳定性工程，成为大模型基础设施领域的专家
• 架构师路线：参与设计大规模训练平台架构，主导稳定性治理体系演进
• 管理路线：带领稳定性团队，负责整体训练效能与稳定性方向
• 负责建设超大规模训练稳定性治理体系，度量并优化有效训练时长（ETTR）与 Goodput，压缩无效算力
• 构建故障可观测能力，研发智能诊断工具，快速定位训练中的 slow、hang、OOM、通信异常等问题
• 研发自动容错与快速恢复机制，如断点续训、Pod 快速重启、节点自愈等，缩短故障恢复时间
• 与算法和框架团队协作，保障训练全生命周期稳定交付，推动自动化运维
• 扎实的分布式系统与 Linux 基础，熟悉性能与故障诊断工具（如 nvidia-smi、nsight、perf、py-spy、gdb、strace）
• 深入理解大规模分布式作业的容错与自愈机制，或具备可观测性与智能诊断经验
• 了解大模型训练流程与常见故障模式，熟悉 PyTorch、Ray 等框架
• 具备良好的问题抽象、系统设计能力与跨团队协作能力

申请策略

• 关注阿里巴巴技术博客和开源项目，了解团队技术方向
• 在面试中展示对训练稳定性的深入思考和实际项目成果
• 突出分布式系统、容错、可观测性相关项目经验，量化成果（如提升训练效率、降低故障率）
• 强调对 PyTorch、Ray 等框架的深入理解，以及在大模型训练场景中的实践经验
• 展示故障诊断工具的使用经验和疑难问题解决案例
• 体现跨团队协作和项目推动能力
• 深入学习大模型训练原理和常见故障模式，了解最新稳定性治理方案
• 熟悉 Kubernetes、容器化技术，以及 GPU 集群管理

面试指南

• 使用 STAR 法则（情境、任务、行动、结果）回答行为类问题，突出个人贡献和量化结果
• 对于技术设计问题，先明确目标，再分模块阐述方案，考虑扩展性和容错性
• 结合具体案例，展示问题分析思路和工具使用能力
• 请描述一次你处理大规模分布式系统故障的经历，如何定位和解决？
• 如何设计一个断点续训机制？需要考虑哪些因素？
• 如何度量训练效率（ETTR、Goodput）？如何优化？
• 如何诊断训练中的 NCCL 通信异常？
• 如何设计一个节点健康度评估系统？