【2027校招】Dots-大模型高性能计算工程师- AI infra

优缺点分析

角色解读

• 技术专家路线：深耕系统性能优化、异构计算或MLOps领域，成为该领域的资深专家或架构师
• 技术管理路线：在积累深厚技术背景后，可带领AI Infra团队，负责整体技术规划和团队管理
• 领域拓展：向更底层的芯片协同设计、新一代计算架构等前沿方向探索
• 负责设计和开发服务于公司各产品的机器学习训练/推理框架
• 深入研究并优化大模型在异构计算集群上的训练与部署效率，解决实际业务场景中的性能瓶颈
• 参与构建高性能、高可靠的AI基础设施，为算法团队提供强大的底层算力支持
• 扎实的GPU编程能力，特别是CUDA，能编写和调优高性能计算内核
• 深入理解模型并行、数据并行等分布式训练技术，并有Megatron/DeepSpeed等框架的实际应用或开发经验
• 对大语言模型的算法原理和训练流程有基本认知，能与算法工程师有效协作
• 强烈的系统级思维，能从底层硬件、编译器到框架全链路思考问题

申请策略

• 仔细研究小红书AI Infra团队在技术博客或开源社区（如GitHub）分享的内容，了解其技术栈和关注点
• 在申请或面试中，可以思考并提出一些关于当前大模型训练效率瓶颈的见解，展示你的思考深度
• 突出与CUDA编程、分布式系统相关的项目经历，尤其是有实际性能数据提升的成果
• 详细描述使用或贡献过Megatron、DeepSpeed等框架的具体工作，体现技术理解深度
• 展示在高性能计算、操作系统或编译器等相关领域的课程项目或研究成果
• 若有开源贡献或竞赛获奖，应作为亮点重点展示
• 系统性地学习并实践CUDA优化，尝试完成一些简单的算子优化练习
• 深入研读Megatron-LM、DeepSpeed等框架的源码，理解其设计思想

面试指南

• 对于优化类问题，采用STAR法则：阐述背景(Situation)、任务(Task)、具体操作(Action)和量化结果(Result)
• 对于架构设计类问题，先阐述基本概念和原理，再结合实际场景（如显存限制、通信带宽）分析权衡
• 对于开放性问题，可以结合自己读过的论文、代码或博客，有理有据地提出观点
• 请介绍一个你使用CUDA进行性能优化的具体案例，遇到了什么挑战，如何解决的？
• 你了解模型并行和数据并行的区别吗？在训练一个超大模型时，如何设计分布式策略？
• Megatron-LM和DeepSpeed在分布式训练支持上各有什么特点？
• 请描述一个你阅读过的高性能计算或机器学习框架的源码片段，它解决了什么问题？
• 你认为当前大模型训练中最大的性能瓶颈可能在哪些层面？如何优化？