AI Infra架构师

优缺点分析

角色解读

• 从 AI Infra 架构师向技术专家或架构负责人发展，主导更大规模的 AI 基础设施
• 可横向扩展至集团 AI 平台或基础平台架构，成为跨领域技术领导者
• 随着 AI 技术演进，持续深耕大模型推理和 Agent 方向，成为行业顶尖专家
• 负责 AI 基础设施的整体架构设计，包括模型推理服务层、Agent 运行时层和底层 GPU 算力，确保系统高效稳定
• 设计 Agent Gateway 和 Sandbox，实现模型路由、权限控制、限流、审计和成本管理，推动 AI 组件落地
• 规划 GPU 容量，实施算力池化、混部、超卖等治理策略，并考虑电力、网络等硬约束
• 主导稳定性与容灾治理，确保推理服务和 Agent 平台达到金融级 SLA，并推动跨团队协作
• 精通大模型推理引擎（vLLM、SGLang、TensorRT-LLM）和推理优化技术（KV Cache、量化等）
• 熟悉 Agent 技术栈，包括 LangChain、Function Calling、MCP 协议和 RAG
• 掌握 GPU 集群和云原生技术，如 Kubernetes GPU 调度、InfiniBand/RoCE 网络
• 具备强 Owner 意识和跨团队推动能力，能定义架构问题并推动落地

申请策略

• 了解滴滴金融科技的业务方向，准备相关案例
• 强调对金融级稳定性的理解，展示对 SLA 的重视
• 突出大模型推理平台或 Agent Infra 的架构设计经验，包括具体项目和成果
• 强调 GPU 集群管理和优化实战，如容量规划、性能调优案例
• 展示跨团队协作和推动落地的能力，例如主导过大型项目
• 提及对 AI 辅助编程工具的使用，体现技术前瞻性
• 深入学习 vLLM、SGLang 等推理引擎，掌握最新优化技术
• 熟悉 Agent 框架和 MCP 协议，了解行业最佳实践

面试指南

• 从业务需求出发，结合技术选型和架构设计，强调权衡和取舍
• 用 STAR 法则描述项目经验，突出个人贡献和结果
• 展示系统思维，从稳定性、成本、性能等多维度分析
• 如何设计一个高可用的 AI 推理平台？
• 如何优化 GPU 利用率并降低成本？
• 如何设计 Agent Gateway 的权限和限流机制？
• 如何应对多机房容灾和故障恢复？
• 如何推动跨团队的技术方案落地？