可观测性SRE

优缺点分析

角色解读

• 可成长为可观测性架构师，主导公司级监控体系设计与演进
• 可转向SRE管理岗或基础设施专家，负责更大规模集群的稳定性
• 可深耕eBPF等底层技术，成为内核性能优化专家
• 负责构建和运维公司级别的可观测性平台，包括日志、监控、链路追踪和告警系统，确保大规模分布式系统的稳定运行
• 对超大规模GPU训练集群进行性能指标采集与查询优化，处理百万级时间序列和TB级日志数据
• 开发多租户Dashboard和查询界面，提升监控数据的可用性和用户体验
• 与运维团队协作，制定告警标准和SOP，提升事件响应效率
• 精通Prometheus生态（VictoriaMetrics/Thanos），有大规模联邦或分片治理经验
• 熟悉日志存储系统如Loki/Elasticsearch/ClickHouse，具备TB级日志调优能力
• 掌握Grafana二次开发，具备前端基础（React/Vue）更佳
• 熟悉OpenTelemetry/Jaeger链路追踪协议，以及Go/Python开发能力

申请策略

• 申请时了解米哈游的技术栈，关注其游戏业务对可观测性的独特需求
• 在面试中展示对大规模系统可观测性挑战的思考，如高基数、高写入量场景的解决方案
• 突出大规模Prometheus集群或日志系统的实战经验，用量化指标（如series数、日志量）体现成果
• 强调GPU集群监控或RDMA监控的相关项目，展示对高性能计算场景的理解
• 列出Grafana二次开发或Dashboard设计的经历，体现工程能力
• 如有eBPF或内核调试经验，务必重点提及
• 加深对VictoriaMetrics/Thanos分片和部署架构的理解，可阅读官方文档或发起小规模POC
• 学习OpenTelemetry标准，尝试使用Jaeger进行链路采样和性能分析

面试指南

• STAR法则：描述背景、任务、行动、结果，用具体数据量化优化效果
• 对比能力：展示对不同方案的权衡分析，如成本、性能、可维护性
• 系统思维：从全局角度考虑可观测性架构的扩展性和容错性
• 请描述你设计或维护过的最大规模Prometheus集群，遇到了哪些性能瓶颈？如何优化？
• 如何采集和存储TB级别的日志？对比Loki、Elasticsearch、ClickHouse的适用场景
• 请解释OpenTelemetry中的Trace、Span、Context传播机制，以及如何实现分布式追踪
• 如何监控GPU训练任务的关键指标（如SM利用率、通信带宽）？使用过哪些Exporter？
• 面对高告警噪音，你会如何设计告警规则和降噪策略？