AI大模型工程师(J17221)

优缺点分析

角色解读

• 从AI大模型工程师起步，可以成长为算法专家或技术负责人，主导核心模型研发
• 也可转向AI架构师方向，负责大规模分布式训练系统的设计与优化
• 在龙旗科技这样的大型ODM公司，有机会接触多种业务场景，积累跨领域经验
• 你将负责大规模多模态图像/视频检索和检测分类算法的研发与优化，探索开放场景下的多模态检测问题
• 你需要深入业务场景，将算法落地并持续迭代，同时完成算法的快速实现和大规模工业化部署
• 你还将参与创新性算法的研究与开发，保持对前沿技术的跟进
• 扎实的计算机科学基础，熟悉机器学习、深度学习，特别是计算机视觉和多模态相关领域
• 熟悉至少一种大模型训练框架如Megatron、DeepSpeed、ColossalAI或OneFlow
• 有大规模模型训练或部署经验，能够独立完成实验和优化

申请策略

• 在简历中体现对业务场景的理解，展示你如何将算法与实际应用结合
• 准备一个简短的技术答辩，说明你在大模型项目中遇到的挑战及解决方法
• 突出你的多模态或计算机视觉相关项目经验，特别是大模型训练或微调项目
• 详细说明你熟悉的大模型训练框架（如Megatron、DeepSpeed）及使用经验
• 如果有开源贡献或竞赛获奖，务必提及，可增加竞争力
• 提前学习MLOps和分布式训练知识，了解数据并行、模型并行等概念
• 补强Python和C++编程能力，熟悉Linux环境下的开发调试
• 阅读最新的大模型论文，特别是多模态方向如CLIP、BLIP等

面试指南

• 对于项目类问题，遵循STAR原则：情境（Situation）、任务（Task）、行动（Action）、结果（Result），重点突出你的贡献和思考
• 对于技术原理问题，先给出核心概念，再展开细节，最后结合实际经验
• 对于优化问题，采用结构化思维：从数据、模型、训练策略多个角度分析
• 请描述你参与的一个大模型训练项目，包括数据准备、模型架构、训练策略和优化过程
• 如何处理多模态数据中图像和文本的对齐问题？
• 在大规模分布式训练中，你如何处理通信瓶颈和负载均衡？
• 选择一种你熟悉的开源框架（如DeepSpeed），说明其Zero优化原理
• 当模型训练效果不佳时，你会从哪些方面进行排查和优化？