大装置-大模型训练推理研发工程师

优缺点分析

角色解读

• 技术专家路线：深耕大模型系统性能优化领域，成为分布式计算或推理引擎的架构师
• 技术管理路线：在积累深厚技术经验后，可转向技术团队管理，负责大模型基础架构方向
• 领域拓展路线：将性能优化经验迁移至AI编译器、异构计算（如GPU/NPU）、AI芯片设计等关联领域
• 开发和优化大模型训练与推理的核心系统框架，解决性能瓶颈
• 从模型并行、计算通信、算子优化等多个维度提升系统整体效率
• 调研前沿技术方案，设计具有前瞻性的系统架构
• 与产品、测试等多团队协作，推动技术方案落地和问题解决
• 精通C++和PyTorch，具备优秀的工程实现和代码优化能力
• 深入理解大模型分布式训练与推理的原理，熟悉至少一种主流框架（如vLLM, Megatron等）
• 对高性能计算、并行策略、计算机体系结构有扎实的认知
• 具备良好的技术沟通、方案设计和文档撰写能力

申请策略

• 在求职信或面试中，可以就“如何优化某个特定算子的性能”或“如何分析分布式训练的通信瓶颈”等具体技术点展开讨论，展示你的思考深度
• 提前了解商汤“大装置”算力平台及其在公司战略中的位置，体现你对业务方向的认同
• 突出在C++和PyTorch方面的深度项目经验，特别是涉及性能优化、并行计算的内容
• 详细描述参与或主导过的大模型训练/推理框架开发或优化项目，量化性能提升成果
• 列举对Megatron, vLLM, TensorRT等框架的熟悉程度和实际使用经验
• 如有CUDA编程、高性能网络（RDMA/IB）或异构计算经验，务必重点强调
• 系统学习vLLM、Megatron-LM等开源框架的源码和设计理念
• 研究NVIDIA GPU的并行计算架构（如Tensor Core, NVLink）以及国产AI芯片的编程模型

面试指南

• 使用STAR法则（情境、任务、行动、结果）结构化描述项目经验，重点突出技术决策和量化成果
• 结合具体框架源码或论文，阐述其技术原理，而不仅仅是使用方法
• 讨论技术方案时，从多维度（性能、稳定性、易用性、兼容性）进行权衡分析
• 请描述一个你过去优化过的系统性能瓶颈案例，你是如何定位问题并解决的？
• vLLM或TensorRT这类推理框架的核心优化技术（如PagedAttention）有哪些？
• 在分布式大模型训练中，数据并行、模型并行和流水线并行有哪些优缺点？如何选择？
• 如果让你设计一个支持千亿参数模型训练的通信库，你会考虑哪些关键因素？
• 你如何看待大模型推理服务的成本优化？可以从哪些角度入手？