蚂蚁集团-大语言模型算法工程师-杭州/上海

优缺点分析

角色解读

• 从大模型后训练工程师向核心技术专家发展，深入大模型底层原理和前沿算法
• 有机会参与顶会论文发表和开源项目，提升行业影响力
• 在蚂蚁集团内部，可转向技术管理或资深技术专家路线
• 参与蚂蚁百灵大模型的后训练与强化学习系统搭建，包括算法框架、语料合成和模型调优
• 针对大模型的数学推理、代码生成和长上下文理解等核心能力进行专项优化
• 探索并设计高效的大模型架构，如Sparse Attention和Linear Attention，提升训练和推理效率
• 与算法、工程团队紧密合作，将研究成果落地到实际业务场景
• 扎实的深度学习和强化学习基础，熟悉主流大模型架构（如Qwen、DeepSeek、Llama）
• 熟练使用PyTorch、Transformers、Megatron-LM、SGLang等框架，具备独立编写和调试代码的能力
• 对大模型评测有深刻理解，能分析和解决性能瓶颈问题
• 良好的沟通协作能力，能够跨团队推进项目

申请策略

• 提前了解蚂蚁百灵大模型的技术方向和团队成果
• 在简历中突出与岗位相关的技术栈和项目，避免泛泛而谈
• 突出大模型预训练、后训练或强化学习的实际项目经验，最好有量化成果
• 展示在PyTorch、Megatron-LM等框架上的熟练度和开源贡献
• 如果参与过顶会论文或竞赛，务必详细描述你的贡献
• 强调数学推理、代码生成等方面的专项优化案例
• 深入理解主流大模型的架构和训练细节，动手复现核心算法
• 学习强化学习的最新进展，尤其是RLHF和DPO等方法

面试指南

• 对于项目类问题，采用STAR法则：背景、任务、行动、结果，突出技术细节和成果
• 对于方法类问题，先给出核心思路，再分步骤展开，最后举例或对比其他方法
• 对于工程设计问题，强调系统思考，考虑数据、计算、性能等多方面因素
• 请详细介绍一下你参与过的大模型项目，你在其中负责什么？
• 如何提升大模型的数学推理能力？请给出具体方法
• 解释RLHF的训练流程，并说明其优缺点
• 你使用过哪些框架进行大规模训练？遇到性能瓶颈如何解决？
• 请设计一个高效的Attention机制，并说明其优势