大模型可观测/模型优化工程师（J105368）

优缺点分析

角色解读

• 技术专家路线：深耕AI Infra性能优化与可观测性，成为领域内的技术权威
• 架构师路线：负责设计更复杂的AI计算平台架构，统筹性能、稳定性和成本
• 技术管理路线：带领团队负责AI基础设施工具链或平台的规划与建设
• 构建和维护面向大模型训练、推理全链路的可观测平台，如同为AI系统打造“CT机”，实时监控性能、精度与稳定性
• 深入分析模型在GPU等硬件上的运行表现，进行性能剖析（Profiling），定位并解决性能瓶颈与精度异常问题
• 开发专门的工具链，帮助模型更好地适配不同硬件（如GPU、NPU），并指导如何进行性能优化
• 扎实的编程能力（Python/C++）和系统级知识（Linux），能理解底层运行机制
• 熟悉主流AI框架（PyTorch）和GPU编程（CUDA），了解大模型训练或推理的流程
• 具备性能分析、调优和问题定位的经验，熟悉Profiling工具和可观测性概念（Metrics/Log/Trace）

申请策略

• 面试前，尝试对一个开源模型（如Llama）在本地或小规模集群上进行性能剖析，分享你的发现，这将是很好的实践证明
• 思考并准备如何将可观测性的理念系统性地应用到AI模型的生命周期管理中
• 重点突出与性能优化、系统分析相关的项目经验，例如‘使用XX工具将模型推理速度提升XX%’，‘负责XX平台的性能监控与故障定位’
• 明确列出熟悉的技术栈，特别是PyTorch、CUDA、Linux系统编程、以及任何性能分析工具（如nsight, perf, vTune）
• 如有大模型训练/推理的实际调优或问题处理经验，一定要具体描述案例
• 系统学习GPU体系结构和CUDA编程模型，尝试编写简单的CUDA内核
• 深入理解一种主流可观测性工具（如Prometheus, Grafana, OpenTelemetry）的原理与实践
• 研究至少一种模型量化或适配工具（如TensorRT, ONNX Runtime）的工作原理

面试指南

• 对于性能优化问题，采用STAR法则：描述背景(Situation)、你的具体任务(Task)、采取的行动(Action，强调分析、工具使用、代码修改)和最终结果(Result，用数据量化)
• 对于系统设计类问题，从目标（监控什么、解决什么问题）、核心指标（性能、精度、资源利用率）、数据采集（Metrics/Log/Trace）、存储分析、展示告警等层面结构化回答
• 对于底层知识问题，结合具体场景解释概念，避免空谈理论，并联系到其对实际优化工作的指导意义
• 请描述一次你优化模型推理性能的具体经历，你用了哪些方法，遇到了什么困难，最终效果如何？
• 你如何定位一个训练任务中出现的精度下降问题？你的排查思路是什么？
• 你认为一个理想的大模型可观测平台应该包含哪些核心指标和能力？
• 请解释一下CUDA中的Stream、Kernel执行模型，它们对性能优化有什么影响？
• 如果让你负责设计一个新模型的GPU Profiling方案，你会如何开始？