AI Infra资深研发工程师

优缺点分析

角色解读

• 在AI Infra领域深耕，成为技术专家，负责更核心的AI基础设施架构设计
• 向技术管理方向发展，带领团队负责AI基础设施的规划和落地
• 横向扩展至其他基础设施领域，如云原生、大数据平台，或深入AI应用层
• 负责Agent Sandbox组件的研发，包括SDK、运行时和控制面，管理Session生命周期、网络策略、多租户隔离等，确保Agent运行的安全和隔离
• 设计并开发AI Gateway核心组件，处理模型路由、鉴权、限流、Token计量和成本控制，保证LLM和Tool调用的稳定性和效率
• 参与GPU容器调度和资源管理，基于Kubernetes生态实现排队、优先级、槽位预留，支撑算力池化和在离线混布
• 构建AI推理场景的稳定性体系，包括可观测性、告警、SLA、容灾、故障处理和容量评估，确保业务Agent稳定运行
• 精通至少一种编程语言，如Python、Golang、C++或C，能够进行系统级开发
• 熟悉大模型推理引擎（如vLLM、SGLang、TensorRT-LLM）和Agent技术栈（如Function Calling、MCP协议）
• 深入理解Kubernetes，包括CRD/Operator开发、容器运行时和网络策略，具备分布式系统开发经验
• 有网关、限流、鉴权组件或PaaS平台开发经验，熟悉稳定性工程实践

申请策略

• 了解滴滴Fintech的业务方向，思考AI Infra如何支撑金融场景
• 在面试中展示对系统稳定性和性能优化的深入理解
• 突出在Kubernetes、容器调度、网关开发方面的项目经验，特别是涉及AI推理场景的
• 强调对大模型推理引擎和Agent框架的实际使用和优化经验
• 展示在稳定性工程方面的成果，如SLA提升、故障处理案例
• 如果有开源项目或技术博客，可以提及，体现技术影响力
• 深入学习vLLM、SGLang等推理引擎的架构和优化技术
• 熟悉Kubernetes Operator开发模式，了解GPU调度和资源管理

面试指南

• 使用STAR法则回答行为问题，突出情境、任务、行动和结果
• 对于系统设计问题，从需求分析、架构设计、技术选型、权衡和扩展性等方面回答
• 强调实际经验，结合具体技术细节和量化结果
• 如何设计一个高可用的AI Gateway，确保低延迟和高吞吐？
• 在Kubernetes中如何实现GPU资源的调度和隔离？
• 如何保证Agent沙箱的安全性和隔离性？
• 如何构建AI推理服务的可观测性和告警体系？
• 请描述一次你处理过的分布式系统稳定性问题