Senior Machine Learning Engineer, ML Infrastructure - Online

优缺点分析

角色解读

• 可向ML基础设施架构师方向发展，成为平台技术负责人
• 也可转向更广泛的AI平台或数据工程领域，负责更大规模系统
• 或在Unity内部晋升为Staff/Principal Engineer，主导跨团队技术决策
• 设计和运维大规模在线推理基础设施，确保生产ML模型低延迟高可靠
• 使用PyTorch、Triton Inference Server、Kubernetes等构建和改进模型服务系统
• 优化推理性能，包括批处理、模型编译、GPU利用率调优等
• 开发模型部署、金丝雀测试、A/B实验、回滚等基础设施
• 精通Python和PyTorch，有生产级ML系统经验
• 深入理解模型服务框架（如Triton、TorchServe）和分布式系统
• 熟悉Kubernetes、GKE等容器编排和自动伸缩技术
• 具备系统思维，能够权衡延迟、吞吐量、可伸缩性和成本

申请策略

• 了解Unity的业务，特别是Vector团队如何支持游戏广告和实时决策，可以体现你的兴趣
• 准备一个你主导过的ML基础设施优化案例，从问题到方案到结果完整讲述
• 突出你构建和运维大规模在线ML推理系统的经验，包括具体指标（如QPS、延迟、可用性）
• 展示你对模型服务框架（如Triton、Ray Serve）和分布式系统的深入使用或优化经历
• 强调你在性能优化（GPU、批处理、编译）方面的具体成果
• 提及你参与过A/B实验、金丝雀发布、自动回滚等基础设施建设项目
• 如果未接触过Triton Inference Server或Ray Serve，建议先学习并搭建小项目
• 加强Kubernetes和GKE的实操经验，熟悉Helm、Istio等工具

面试指南

• 使用STAR法则：情境、任务、行动、结果
• 展示系统思维：从端到端考虑，包括数据、模型、基础设施、监控
• 突出量化结果：如将延迟降低X%，吞吐量提升Y%，可用性达到Z个9
• 描述你设计过的一个大规模在线推理系统，包括架构、关键技术和挑战
• 如何优化模型推理的延迟和吞吐量？举一个具体的例子
• 解释金丝雀发布和A/B实验在模型部署中的实现方式
• 如何在Kubernetes上实现自动伸缩？你如何设置HPA和VPA？
• 你如何监控和诊断在线ML系统中的性能问题？