AI创新事业部-服务端研发-AI 模型&架构方向

优缺点分析

角色解读

• 在AI基础设施领域深耕，可成长为技术专家或架构师
• 有机会向技术管理方向发展，带领团队负责更大规模的平台建设
• 随着AI技术演进，可拓展至AI平台产品化、商业化等方向
• 主导大模型推理平台与调度中台的建设，支持多模型、多账号的高并发低时延推理服务
• 推进推理加速与GPU资源复用优化，提升模型利用率并降低单位推理成本
• 负责服务端架构演进与全球多Region部署，构建统一网关与用户服务体系
• 构建SRE稳定性体系，包括全链路监控、容量管理与弹性扩容机制
• 精通Go或Java，具备扎实的编程能力
• 深度掌握分布式系统架构设计，熟悉模型调度、API网关、资源弹性调度与容灾方案
• 熟悉Kubernetes集群部署与优化，掌握服务网格、全链路监控、混沌工程等实践
• 了解AIOps技术栈，具备AI Agent框架开发经验者优先

申请策略

• 了解阿里巴巴AI创新事业部的业务方向，如通义千问等产品
• 在面试中展示对成本优化和资源效率的思考，体现业务意识
• 突出主导过的分布式系统架构设计项目，特别是涉及模型调度、API网关或类似平台
• 强调在GPU资源优化、推理加速、成本治理方面的实际成果
• 展示K8s、服务网格、监控系统等运维经验，以及高并发场景下的优化案例
• 如有AI Agent或AIOps相关经验，务必突出
• 深入学习大模型推理框架（如vLLM、TensorRT-LLM）和GPU优化技术
• 熟悉Kubernetes高级特性，如自动扩缩容、GPU调度

面试指南

• 采用STAR法则，结合具体项目，突出架构设计思路、技术选型、挑战和成果
• 强调数据驱动，用指标说明优化效果，如成本降低百分比、性能提升等
• 展示系统性思考，从架构、运维、成本等多维度考虑问题
• 请描述你主导过的分布式系统架构，如何设计模型调度中台？
• 如何优化GPU资源利用率，降低推理成本？
• 在多Region架构下，如何保证数据一致性和容灾？
• 如何设计全链路监控系统，快速定位线上问题？
• 你如何评估和优化系统的弹性扩缩容策略？