Senior Consultant Specialist (Model Hosting/Inference Optimization)

优缺点分析

角色解读

• 在AI平台工程领域深耕，成为推理优化或模型部署专家
• 向技术主管或架构师方向发展，带领团队构建更复杂的AI基础设施
• 横向拓展至AI研究或数据科学方向，积累算法与工程双重能力
• 设计并维护可扩展的模型托管平台，支持LLM、嵌入等多种AI模型的生产部署
• 优化推理性能，通过量化、批处理等技术降低延迟和成本
• 构建端到端微调管道，对预训练模型进行领域适配，并集成到推理栈
• 与AI研究员、数据科学家协作，监控系统健康并解决部署问题
• 精通Python和CUDA，深刻理解GPU/CPU架构和HPC基础
• 深入掌握推理优化技术，包括KV-cache、量化、算子优化以及vLLM/TensorRT-LLM等框架
• 熟悉Docker/Kubernetes和至少一种云平台（AWS/GCP/Azure）
• 具备端到端微调经验，熟悉HF/Accelerate/LoRA/QLoRA等工具

申请策略

• 了解汇丰AI平台的技术栈和业务方向，在面试中展示对金融领域模型部署的理解
• 准备一个完整的端到端项目案例，从模型选择到优化部署，说明挑战与解决方案
• 突出LLM推理优化或模型托管项目经验，量化性能提升指标（如延迟降低XX%）
• 强调CUDA、算子优化等底层技能，展示HPC或硬件相关背景
• 列出使用过的推理框架（vLLM等）和云平台，体现工程广度
• 深入学习vLLM、TensorRT-LLM等框架源码，提升框架定制能力
• 补充分布式训练和微调经验，熟悉LoRA/QLoRA等高效微调方法
• 强化Kubernetes容器编排和云原生部署技能

面试指南

• 技术问题采用STAR法则：情境、任务、行动、结果，强调量化成果
• 系统设计类问题先明确需求边界，再分层讨论组件和权衡
• 展示对性能指标（TTFT、吞吐量）的敏感度，并说明优化思路
• 请描述一次你优化LLM推理延迟的经历，使用了哪些技术？
• 解释KV-cache的工作原理及如何减少显存占用
• 你如何选择量化方案（如INT4 vs FP8）？优缺点是什么？
• 设计一个微调管道：从数据准备到部署的流程和考虑因素
• 如何在Kubernetes上保证模型托管的高可用性？