大模型推理/训练引擎研发工程师

优缺点分析

角色解读

• 从研发工程师成长为高级工程师或架构师，负责更复杂的系统设计
• 向算法优化专家或平台开发方向发展，深入AI基础设施领域
• 通过技术积累，可能转向技术管理或跨领域创新项目
• 参与大模型推理引擎和训练解决方案的研发与优化，提升计算性能
• 优化底层算子和调度策略，通过系统级改进降低训练成本并提高稳定性
• 与算法团队合作，探索前沿技术如RLHF、MoE，并定制训练方案
• 精通系统编程（C++/Python）和高性能计算知识，熟悉分布式系统
• 熟练使用PyTorch等深度学习框架，具备CUDA编程和算子优化经验
• 掌握数据结构与算法基础，能解决复杂工程问题并协同算法优化

申请策略

• 研究快手在大模型领域的公开技术分享或论文，面试时展示公司业务理解
• 准备系统设计或性能优化案例，展示解决实际工程问题的思路
• 突出系统编程和优化项目经验，尤其是涉及分布式系统或深度学习框架的案例
• 强调C++/Python技能和PyTorch使用经验，展示算法与底层协同能力
• 如有相关论文或开源贡献，重点列出以体现技术影响力
• 加强CUDA编程和算子优化知识，通过实践项目提升性能调优能力
• 学习分布式训练框架如DeepSpeed或Megatron，了解前沿训练技术

面试指南

• 采用STAR法则：情境、任务、行动、结果，结构化展示项目经验
• 结合具体技术细节，如访存优化或调度策略，体现深度思考
• 强调团队协作和沟通，说明如何与算法部门协同工作
• 如何优化一个深度学习模型的推理性能？请描述具体步骤
• 解释分布式训练中的通信瓶颈，并说明如何优化
• 你如何平衡算法需求和系统限制来设计训练方案？
• 描述一个你解决过的复杂系统编程问题，以及你的思路
• 对大模型训练中的MoE或RLHF方向有什么了解？