业务运维工程师

优缺点分析

角色解读

• 在AI Infra团队，可以深入接触大模型训练与推理平台，成为AI基础设施运维领域的专家
• 随着大模型技术的快速发展，该岗位经验在行业内具有高价值，可向SRE专家、运维架构师或AI平台研发方向转型
• 京东平台提供广阔的内部转岗和晋升机会，可向技术管理或技术专家方向发展
• 负责大模型推理服务的日常运维，包括服务发布、扩缩容、配置变更等操作，确保线上服务稳定运行
• 构建和维护监控告警体系，使用Prometheus、Grafana等工具，通过巡检脚本和看板快速发现并响应故障
• 分析延迟、吞吐、GPU利用率等核心性能指标，为资源规划和成本优化提供数据支持，提升资源使用效率
• 参与故障复盘，与研发团队协作定位根因，推动系统稳定性和运维流程的持续改进
• 具备AI推理服务运维经验，熟悉大模型服务发布、扩缩容与配置变更流程
• 熟练掌握Prometheus、Grafana等监控告警工具，能够构建和维护监控体系
• 具备扎实的故障根因分析能力，能从复杂现象中定位架构或资源配置问题
• 熟悉Kubernetes、Docker等容器化技术，了解GPU资源管理和调度

申请策略

• 在面试中展现对AI基础设施运维的热情和对大模型技术的理解
• 准备一个自己主导的故障排查或监控优化案例，突出个人贡献和思考过程
• 突出AI推理服务或GPU集群的运维经验，例如负责过的大模型服务发布、扩缩容项目
• 强调监控告警体系的建设成果，如使用Prometheus/Grafana搭建的监控系统，以及如何提升故障发现效率
• 展示故障处理案例，特别是根因分析和优化方案，体现解决复杂问题的能力
• 提及对成本优化和资源利用率提升的具体贡献，如通过分析指标节省了多少成本
• 深入学习Kubernetes和GPU虚拟化、调度技术，了解主流AI推理框架（如vLLM、TensorRT-LLM）的运维要点
• 熟悉Python或Go，提升自动化脚本和工具开发能力

面试指南

• 采用STAR法则（情境、任务、行动、结果）回答行为类问题，清晰描述背景、你的职责、具体行动和量化结果
• 对于技术方案类问题，可以按照'目标-方案-细节-验证'的结构进行阐述，体现逻辑性和全面性
• 在回答时，可以结合京东的业务场景，展示你对大模型服务高可用和成本优化的思考
• 请描述一次你处理大模型推理服务故障的经历，如何定位和解决的？
• 如何设计一个监控告警体系来保障AI推理服务的高可用？
• 你如何优化GPU资源利用率？请举例说明
• 谈谈你对Kubernetes在AI推理场景中的应用和理解
• 当服务出现性能瓶颈时，你的排查思路是什么？