大模型推理SRE工程师（深圳/北京）

优缺点分析

角色解读

• 向AI基础设施架构师方向发展，主导大规模AI集群的规划与建设
• 成为SRE领域专家，深耕自动化运维与智能运维（AIOps）前沿技术
• 转向AI系统工程（AI Systems Engineering），连接算法与底层硬件，提升整体效能
• 负责大模型推理服务（如VLLM）在生产环境的高可用运维与稳定性保障
• 深入底层进行性能调优，优化TTFT、吞吐等核心指标，提升GPU算力利用率
• 构建自动化运维体系，包括监控告警、弹性伸缩、故障自愈及Agent辅助运维
• 处理复杂的GPU集群故障，进行根因分析与系统性改进
• 精通Kubernetes及GPU调度，熟悉VLLM/SGLang等主流推理引擎原理与调优
• 扎实的SRE基础，熟练掌握Python/Shell自动化开发及Prometheus等可观测技术
• 深入理解GPU硬件特性（CUDA、NCCL、显存管理等）及大模型训练/推理架构
• 具备极强的故障排查能力与性能优化实战经验

申请策略

• 准备具体的故障排查案例，展示逻辑清晰的根因分析过程
• 了解腾讯在AI基础设施方面的最新布局与技术栈，体现匹配度
• 突出大模型推理引擎（VLLM等）的实际部署与性能优化案例，量化提升指标（如吞吐提升X%）
• 强调GPU集群运维经验，特别是解决显存OOM、NCCL通信故障等疑难问题的经历
• 展示自动化运维工具开发能力，如基于Python/K8s开发的弹性伸缩或故障自愈系统
• 提及在可观测性体系建设（Prometheus/Grafana/OpenTelemetry）方面的贡献
• 深入学习VLLM/SGLang源码，理解Continuous Batching、Paged Attention等核心机制
• 强化Linux内核、CUDA编程及GPU硬件架构知识，提升底层调试能力

面试指南

• 采用STAR法则（情境、任务、行动、结果）描述故障处理过程，重点突出数据分析与根因定位方法
• 对于技术原理题，从数学原理、代码实现、工程权衡三个维度展开，展现深度理解
• 对于方案设计题，先明确目标与约束，再提出分层解决方案（采集、决策、执行），最后讨论边界情况与优化点
• 请详细描述一次你处理过的最复杂的GPU集群故障，你是如何定位并解决的？
• VLLM中的Paged Attention机制是如何工作的？相比传统Attention有何优势？
• 如何设计一个针对大模型推理服务的弹性伸缩方案？考虑哪些指标？
• 在Kubernetes环境下，如何高效调度GPU资源并避免碎片化？
• 如何优化LLM推理的TTFT（首 token 延迟）和TPOT（生成 token 间隔）？