微信搜索-AI Infra工程师-大模型后训练与RL方向（北京）（深圳）

优缺点分析

角色解读

• 技术专家路线：深耕AI Infra或RL方向，成为大模型训练领域的权威技术专家或架构师
• 技术领导路线：在负责复杂技术模块的基础上，逐步承担更大的技术规划与团队影响力，向技术负责人发展
• 业务融合路线：将对训练技术的深刻理解与对搜索等业务场景的认知结合，向AI应用架构师或特定领域的技术负责人转变
• 设计和优化用于大模型后训练（如SFT、RLHF）的软件框架和训练流程，确保训练过程高效、稳定
• 深入研究并引入社区最新的开源强化学习和分布式计算工具（如Verl、ROLL等），提升团队技术栈
• 与搜索算法同事紧密协作，将通用的大模型训练能力与搜索业务特性结合，打造高性能的AI搜索模型
• 扎实的Python编程和系统开发能力，具备复杂的底层系统调试经验
• 精通大模型分布式训练原理，并有实际使用和优化Megatron-LM、DeepSpeed、PyTorch FSDP等框架的经验
• 熟悉强化学习核心算法（PPO/GRPO/DPO）及其在大模型对齐中的应用，并有相关框架的实战部署经验
• 对模型结构（如Transformer）和底层软硬件架构有深入理解，能进行跨层的训练性能调优

申请策略

• 在简历或面试中，尽量使用具体的案例来展示你如何诊断和解决大模型训练中遇到的工程或算法问题
• 提前了解微信搜索业务当前可能面临的AI技术挑战，思考你的技术背景如何与之结合，可以在面试中提出有见地的问题或想法
• 重点突出使用Megatron-LM、DeepSpeed等框架进行大模型分布式训练的实际项目经验，量化其带来的性能提升或规模扩展成果
• 详细描述参与或主导的强化学习（PPO等）相关项目，尤其是与模型对齐、后训练优化相关的具体实践和解决方案
• 强调系统级优化能力，例如针对特定硬件（如GPU集群）的性能调优、复杂环境下的问题定位与解决案例
• 展示对主流开源框架（如Verl, AReal等）的跟踪、评估或贡献经历，体现技术敏感度
• 深入研读并实践最新的强化学习框架代码，如Verl等，理解其设计思想和实现细节
• 系统性地复习或深入学习模型并行、数据并行、流水线并行等分布式训练策略，特别是其在最新软硬件上的实践

面试指南

• 采用STAR法则（情境、任务、行动、结果）来结构化地描述项目经验，确保逻辑清晰
• 对于技术原理问题，先阐述核心概念，再结合自己的实际经验或理解举例说明，展现深度思考
• 对于方案评估类问题，提出一个结构化评估框架（如性能、易用性、社区生态、与现有技术栈的兼容性等）来组织回答
• 请描述一个你参与过的大规模模型分布式训练项目，你在其中负责什么？遇到的主要技术挑战是什么，如何解决的？
• 在你看来，PPO、GRPO、DPO这些强化学习算法在工程实现上有哪些关键的区别和难点？
• 如果让你负责引入一个新的开源训练框架（如Verl），你会从哪些维度进行评估和决策？
• 请谈谈你对当前主流大模型训练框架（如Megatron-LM与DeepSpeed）优劣势的理解
• 在将大模型技术落地到搜索这样的具体场景时，你认为训练框架需要做哪些特殊的设计或优化？