蚂蚁集团-多模态理解/AIGC算法专家-AIRS

优缺点分析

角色解读

• 技术专家路线：从算法工程师成长为多模态/大模型领域资深专家，深入前沿研究
• 架构师路线：负责大规模供给理解系统的架构设计，引领技术方向
• 业务型专家：结合搜索/广告/推荐业务，成为业务+算法复合型人才，向技术管理发展
• 负责支付宝供给的多模态大模型理解技术研发，构建亿级供给的标签、Embedding、SemanticID等特征
• 将CV/NLP/Audio多模态技术用于全域供给语义对齐，支持用户行为建模，提升搜索/推荐/广告效果
• 跟踪并落地大模型前沿技术（如Pretrain、SFT、RAG、Agent、强化学习等），进行技术选型和方案设计
• 扎实的计算机视觉、NLP、多模态预训练专业知识，熟悉大模型基础
• 熟悉常见大模型训练和微调技术，如SFT、RAG、强化学习等
• 优秀的算法实现和问题解决能力，能将业务问题转化为模型方案
• 有自驱力，能持续学习业界最新实践，有论文或竞赛获奖者更优

申请策略

• 提前了解蚂蚁集团在支付宝场景中的供给理解业务，思考大模型如何应用于商品、短视频等
• 在面试中展现对技术的热情和对业务的理解，强调技术落地价值
• 突出多模态、CV、NLP相关的项目经历，特别是大模型预训练、微调、部署的经验
• 展示在搜索、推荐、广告等业务场景中的算法落地成果，用量化指标说明效果提升
• 如有顶会论文或竞赛获奖，务必突出，这是加分项
• 强调自驱学习能力，如在开源社区、技术博客中的贡献
• 提前熟悉主流大模型框架（如HuggingFace、DeepSpeed、Megatron）和常见训练技巧（SFT、LoRA、RLHF）
• 补充多模态相关know-how，如CLIP、ViT、BEiT、LLaVA等模型架构和训练方法

面试指南

• 针对项目类问题，可采用STAR法则：情境（业务背景）、任务（目标）、行动（技术方案）、结果（量化效果）
• 对于技术原理问题，先讲清楚概念，再结合自己的理解说明优缺点和适用场景，最好能举例
• 对于业务结合问题，先分析业务痛点，再提出技术方案，最后说明预期收益和验证方式
• 请讲讲你做过的一个多模态大模型项目，包括模型架构、训练数据和效果
• 如何为大模型生成高质量的训练数据？如何评估模型效果？
• 在搜索/推荐场景中，多模态大模型如何应用？与传统的单模态特征相比有什么优势？
• 你了解哪些大模型前沿技术？SFT、RAG、强化学习各适用于什么场景？
• 如何在大规模数据下高效训练多模态模型？有哪些加速策略？