蚂蚁集团-大语言模型算法专家-北京/上海/杭州【AGI专项】

优缺点分析

角色解读

• 从算法专家向技术专家/首席科学家发展，深耕AGI前沿领域
• 有机会带领技术小组，向技术管理方向转型
• 通过持续产出高影响力研究成果和业务价值，成为领域领军人物
• 研发大语言模型预训练技术，包括高效新型架构设计、长窗口训练、预训练scaling law等，提升模型基础能力
• 研发基于强化学习的推理模型，如大规模强化学习、新型RL算法，实现推理时的缩放优化
• 与工程、产品和业务团队协作，将AGI技术应用于实际场景，驱动业务创新
• 精通Python和PyTorch，熟悉DeepSpeed/Megatron等分布式训练框架，具备扎实的工程实现能力
• 深入理解语言模型预训练原理、模型架构设计和强化学习，有相关落地经验
• 具备优秀的分析解决问题能力和团队协作能力，能独立推进技术难题

申请策略

• 了解蚂蚁集团AGI相关业务和最新技术布局，在面试中展现对方向的理解
• 准备一个完整的项目案例，突出技术难点和个人贡献
• 突出大语言模型预训练、模型架构设计、强化学习相关的项目或科研经历
• 强调分布式训练实践经验，如使用DeepSpeed/Megatron进行大规模训练
• 如果有顶会论文或高质量开源贡献，务必显著列出
• 深入学习RLHF、新型RL算法和长上下文技术，补齐前沿知识
• 熟悉大规模分布式训练优化，如ZeRO、张量并行、流水线并行等

面试指南

• 采用STAR法则：情境-任务-行动-结果，突出技术选择和量化成果
• 先阐述原理，再结合实践细节，最后强调反思和优化空间
• 请介绍你在预训练大模型方面的工作，遇到过哪些挑战？
• 如何设计长窗口训练？有哪些技术手段？
• RLHF的原理是什么？你如何实现或优化？
• 在分布式训练中，如何处理通信瓶颈和负载均衡？
• 如何评估大模型在业务场景中的效果？
• 复习相关经典论文和最新技术，如Transformer、RLHF、LongNet等