微信-WeLM 大模型预训练框架研发工程师（深圳、上海）

优缺点分析

角色解读

• 技术专家路线：在大模型训练框架与性能优化领域深耕，成为该领域的技术权威
• 架构师路线：负责更宏观的AI Infra架构设计，涵盖训练、推理、数据全流程
• 技术管理路线：带领小团队，负责特定方向（如后训练平台）的规划与交付
• 构建和优化用于训练万亿参数级大模型的底层预训练框架，确保训练过程高效稳定
• 针对长上下文、多模态等挑战性场景，设计并实现分布式训练策略，压榨硬件性能
• 搭建和优化大模型后训练（如RLHF）的工程流程，将算法研究落地为可靠工具
• 与算法团队合作，将前沿研究（如MoE、Continual Learning）快速工程化并应用于训练框架
• 精通PyTorch等主流深度学习框架，并拥有大规模（千卡级别）分布式训练实战经验
• 深入理解Transformer架构原理及其变体，熟悉Megatron、DeepSpeed等业界主流训练框架的源码与设计思想
• 扎实的系统工程能力，熟悉CUDA编程、显存管理、通信优化等，能解决训练中的性能瓶颈
• 对机器学习理论（尤其是LLM训练流程和RLHF）有较好理解，能与算法研究员有效沟通

申请策略

• 可以提前研究微信WeLM团队公开的相关论文或技术分享，了解其技术偏好和方向
• 面试前，系统梳理自己过去处理过的最复杂、规模最大的训练任务中遇到的问题及解决方案
• 重点突出使用PyTorch/JAX进行大规模分布式训练的项目经验，最好能说明训练规模（如GPU卡数、数据量）和优化成果（如训练加速比、成本降低）
• 详细描述在CUDA优化、显存管理、混合并行策略（如ZeRO、3D并行）方面的具体实践
• 如果参与过Megatron、DeepSpeed等框架的二次开发或使用，务必清晰说明
• 可以列出对RLHF、MoE等特定技术的理解或实践经历
• 深入研读并尝试复现Megatron-LM、DeepSpeed等框架的源码，理解其分布式并行设计
• 系统学习CUDA编程与GPU优化知识，完成一些性能优化小实验

面试指南

• 使用STAR法则回答技术挑战类问题：阐述背景（Situation）、具体任务（Task）、采取的行动（Action，这是重点，要具体到技术方案）、最终结果（Result，最好量化）
• 对于理论/框架对比类问题，从核心功能、并行策略、易用性、生态支持等多个维度进行结构化对比，表明自己的深入理解
• 展现系统思维：不仅回答“怎么做”，还要简要说明“为什么这么做”，例如技术选型的权衡考量
• 请描述一个你处理过的最大规模分布式训练任务，你采用了哪些并行策略？遇到了什么挑战，如何解决的？
• 在优化一个大模型训练任务时，发现GPU显存不足，你会从哪些方面考虑解决方案？
• 请解释一下你对RLHF（基于人类反馈的强化学习）训练流程中‘奖励模型’训练和‘策略优化’步骤的理解，以及其中可能遇到的工程挑战
• Megatron-LM和DeepSpeed在设计理念和主要功能上有什么异同？你会在什么场景下选择使用哪个？
• 如何评估和提升大模型推理阶段的吞吐量（throughput）和延迟（latency）？