蚂蚁集团-垂类模型预训练科学家-北京/上海/杭州【AGI专项】

优缺点分析

角色解读

• 方向一：成为垂类大模型领域的资深科学家/研究员，主导模型研发方向
• 方向二：向技术专家或架构师发展，负责大规模训练系统设计与优化
• 方向三：向技术管理者发展，带领团队推动AGI在金融等行业的落地
• 负责垂类基座模型（如金融领域）的评估体系设计，研究模型能力随数据、参数、计算量的扩展规律
• 设计并优化高效的模型架构和预训练策略，利用大规模语料进行增量预训练或从头训练
• 针对金融等领域的专业知识、复杂数值推理等短板，组织数据与训练方案，提升模型领域能力
• 与工程、产品团队协作，将模型能力落地到实际业务场景
• 扎实的深度学习与语言模型预训练理论基础，熟悉Transformer架构、Scaling Laws
• 熟练使用PyTorch、Megatron、Transformer Engine、vLLM、SGLang等训练推理框架
• 具备大规模分布式训练经验，掌握数据并行、模型并行、流水线并行等技术
• 具备良好的算法实现与调试能力，以及问题分析与解决能力

申请策略

• 关注蚂蚁AGI专项的研究方向，准备与团队现有工作的结合点
• 准备一份展示你技术深度的简历，突出做过的复杂项目
• 突出预训练或大模型相关项目经验，尤其是增量训练、领域微调或模型优化案例
• 强调分布式训练经验，明确使用过的框架和解决的问题
• 展示对Scaling Laws、模型架构设计的理解，可附上技术博客或论文
• 如果有金融领域知识或相关项目，务必重点写
• 熟悉Megatron、vLLM等高性能训练推理框架，动手搭建小规模预训练实验
• 深入理解Scaling Laws论文，掌握数据配比、学习率调度等技巧

面试指南

• 用STAR法则回答项目经历：情境、任务、行动、结果，突出个人贡献和量化成果
• 对技术问题，先给出核心概念，再结合具体经验阐述，体现深度
• 对开放性问题，可以提到从数据、模型、评估三个维度考虑
• 请介绍你做过的一个预训练或大模型项目，你负责什么部分？
• 如何设计垂类模型的预训练数据配方？如何评估模型效果？
• 你对Scaling Laws的理解？如何利用它指导模型训练？
• 在分布式训练中遇到过的瓶颈和解决思路？
• 如何解决金融领域专业术语和数值推理的问题？