【2027】AI模型服务优化工程师-郑州(J14449)

优缺点分析

角色解读

• 从初级的性能测试工程师成长为AI基础设施性能优化专家，未来可向大模型推理架构师、AI系统SRE或技术管理方向发展
• 设计和执行AI大模型推理服务的性能基准测试（benchmark），构建全面的性能指标体系
• 通过profiler分析、CI自动化测试等手段，定位并解决模型服务在吞吐、延迟、显存等方面的性能瓶颈
• 熟练掌握Python和Linux，具备扎实的脚本开发与数据分析能力
• 深入理解大模型推理框架（如vLLM）、GPU硬件特性以及CI/CD流程，熟悉性能测试与自动化测试工具

申请策略

• 了解中科曙光在算力网络和AI服务器方面的业务布局，面试时可结合其硬件平台特点探讨模型推理优化的思路
• 突出在Python脚本开发、自动化测试（如pytest）及CI/CD流水线建设方面的实际项目经验
• 详细列出参与过的性能测试、压测项目，特别是与大模型、GPU或云原生相关的经历
• 提前熟悉vLLM、SGLang等主流大模型推理框架的基本原理和部署流程
• 学习使用Prometheus和Grafana进行系统监控，掌握基本的性能分析工具

面试指南

• 采用STAR法则（情境、任务、行动、结果）回答项目经验问题
• 对于排查类问题，采用“现象确认 -> 指标拆解 -> 链路追踪 -> 根因定位 -> 解决验证”的结构化思路
• 请简述你如何设计一个大模型推理服务的benchmark测试集？
• 在性能测试中，如果发现TPOT（Time Per Output Token）异常升高，你会如何排查根因？
• 请介绍一次你使用Python编写自动化测试脚本或构建CI/CD流水线的经历
• 你对vLLM或SGLang等推理框架的底层加速原理有什么了解？
• 复习大模型推理的核心指标（TTFT、TPOT、吞吐量等）及其影响因素
• 准备1-2个自己主导或深度参与的性能优化或自动化测试项目案例，能够清晰阐述技术细节和最终收益