搜推广场景的训推效能攻坚面向高吞吐低延迟的AI架构创新-阿里星/Bravo Star

优缺点分析

角色解读

• 在阿里巴巴国际化业务中，可成长为AI工程领域的专家，主导大规模系统架构设计
• 有机会接触全球最前沿的AI技术，向技术管理或技术专家方向发展
• 参与核心业务，未来可向技术总监或首席架构师等高级职位晋升
• 设计并构建支撑大规模AI模型训练与推理的工程平台，包括特征平台、训练平台和在线推理框架
• 深入优化大模型训练与推理性能，涉及FlashAttention、PagedAttention等尖端加速技术
• 推动大模型与推荐系统融合架构的落地，探索生成式召回、排序等创新应用
• 精通C++/Java和Python，具备扎实的计算机基础，包括数据结构、操作系统、网络编程等
• 了解GPU架构，具备CUDA或Triton编程经验，熟悉TensorFlow/PyTorch等深度学习框架
• 具备AI工程全链路经验，包括特征工程、模型训练、在线推理，对大模型应用有实践

申请策略

• 关注阿里巴巴国际业务的技术博客和开源项目，了解团队技术方向
• 在面试中展示对AI工程化挑战的理解和解决复杂问题的能力
• 突出C++/Java/Python开发经验，特别是高性能系统或分布式系统项目
• 强调CUDA/Triton编程、GPU优化或大模型训练/推理加速相关经验
• 展示在特征工程、模型训练、在线推理等AI工程全链路的实际项目
• 深入学习CUDA编程和GPU架构，掌握FlashAttention等优化技术
• 熟悉主流大模型框架（如PyTorch）和推理优化工具
• 了解搜索、推荐、广告等业务场景，积累相关项目经验

面试指南

• 采用STAR法则（情境、任务、行动、结果）清晰描述项目经验，突出技术难点和量化成果
• 从系统架构、性能瓶颈、优化策略等角度分析问题，展示系统性思考
• 结合业务场景，说明技术选型和权衡，体现业务理解
• 请介绍一个你主导的大模型训练或推理优化项目，具体解决了什么问题？
• 如何设计一个支持高并发、低延迟的在线推理系统？
• 你对FlashAttention或PagedAttention等技术的理解，如何应用？
• 在推荐系统中，如何利用大模型提升效果？
• 如何平衡模型效果与推理性能？