算法工程师-全模态基础大模型

优缺点分析

角色解读

• 可向AI技术专家或架构师方向发展，深耕多模态大模型领域，成为技术带头人
• 积累项目经验后，可转向技术管理岗位，带领团队进行创新研发
• 通过参与前沿研究，有机会推动行业技术标准制定或发表高水平论文
• 负责全模态基础大模型的研发，重点提升音频、音视频的理解、生成和交互能力
• 开发和优化Agentic技术，实现原生音视频交互、多模态编码不降智等核心功能
• 进行音视频理解与生成的基础能力建设，包括Caption、ASR、语音生成等，并探索模型自主优化
• 参与实时交互模型的开发，处理打断、判停等场景，提升用户体验
• 扎实的计算机与机器学习理论基础，精通Python/C++编程和工程实现
• 熟悉多模态AI技术，如音频/视频理解、大语言模型（LLM）研发（预训练、SFT、强化学习）
• 具备Agent算法或实时交互模型开发经验，能处理复杂技术挑战
• 对前沿技术有强烈探索欲，具备自驱力、独立思考和团队协作能力

申请策略

• 在申请时，研究阿里巴巴在AI大模型方面的战略方向，展示与岗位的契合度
• 准备技术面试时，重点复习机器学习基础、多模态模型架构和项目细节
• 突出多模态AI项目经验，如音频/视频理解、大模型训练或Agent开发成果
• 强调编程技能和工程实现能力，展示使用Python/C++解决复杂问题的案例
• 如有相关论文、开源贡献或竞赛获奖，应重点列出以证明技术实力
• 补充大模型预训练、强化学习等实践经验，可通过在线课程或个人项目提升
• 学习音频/视频处理技术，如ASR、CV工具，并尝试结合多模态应用
• 关注Agentic和实时交互领域的最新研究，保持技术敏感度

面试指南

• 使用STAR法则（情境、任务、行动、结果）结构化回答项目经验问题，突出技术细节和成果
• 对于技术设计问题，先阐述问题核心，再分步说明方案，包括技术选型、优化方法和潜在改进
• 结合个人经历，强调自驱力和团队协作，展示解决复杂问题的思路
• 请描述你在音频或视频理解项目中的经验，如何处理长视频或多音视频理解？
• 如何设计一个Agentic系统来实现全模态交互？请解释关键挑战和解决方案
• 在大语言模型（LLM）研发中，你如何应用强化学习（RL）来优化模型性能？
• 对于实时交互模型（如GPT-Live），如何保证音频query不降智和体感优化？
• 你如何实现模型的自主优化与Self-evolving？请举例说明