OceanBase-Maas研发工程师/大模型研发工程师-OceanBase

优缺点分析

角色解读

• 技术专家路线：深耕推理引擎和底层性能优化，成为大模型基础设施领域的技术大牛
• 架构师路线：主导MaaS平台整体架构演进，成长为系统架构师
• 管理路线：带领团队负责AI基础设施方向，向技术管理岗位发展
• 负责MaaS平台核心架构，设计模型路由和调度机制，支撑多种大模型的高效服务化
• 管理异构GPU集群，在K8s环境中实现自动化部署、扩缩容和生命周期管理
• 针对vLLM、SGLang等推理框架进行深度性能优化，提升吞吐并降低延迟
• 构建监控告警体系，保障模型服务的稳定性与高可用性
• 扎实的编程基础，熟悉数据结构、算法及多线程/协程开发
• 熟悉容器化技术，了解Kubernetes及其扩展机制
• 深入理解Transformer原理和并行推理技术（TP/PP/EP/DP），有实际推理框架调优经验
• 对大模型技术生态（RAG、Agent）有热情，能快速学习前沿技术

申请策略

• 在申请时展示你对大模型技术的热情和持续学习能力，例如GitHub项目或技术博客
• 了解蚂蚁OceanBase的技术栈和业务方向，在面试中体现系统性思考和问题解决能力
• 突出在vLLM/SGLang/TensorRT-LLM等推理框架的生产经验，包括具体优化项目和量化指标提升
• 展示Kubernetes和GPU集群管理的经验，特别是大规模部署、调度和资源分配相关项目
• 强调对并行推理技术的掌握，如TP/PP/EP/DP的实践案例
• 如有模型服务治理或网关开发经验，务必详细描述，这是加分项
• 若缺少推理框架二次开发经验，可提前研究vLLM源码，了解PagedAttention、Continuous Batching等核心机制
• 加深对TensorRT-LLM和SGLang的理解，了解各自优势场景

面试指南

• 对于系统设计类问题，先明确需求场景，然后分层阐述架构：接入层、路由层、推理层、资源层，并说明关键设计取舍
• 对于性能优化问题，从系统性角度考虑：数据准备、模型加载、推理引擎配置、硬件特性、并发调度等，给出可量化的实验方法
• 对于技术原理问题，用清晰的逻辑解释核心概念，并结合实际项目经验说明应用场景
• 如何设计一个高可用的MaaS平台？你会如何实现模型路由和动态调度？
• 在vLLM或SGLang中，如何优化TTFT（首字延迟）和吞吐量？请简述关键参数和思路
• 请解释Tensor Parallelism和Pipeline Parallelism的原理，以及在多机多卡环境下的配置实践
• 如何监控和诊断GPU集群中的性能瓶颈？例如GPU利用率低或KV Cache溢出的处理
• 你如何看待当前大模型推理技术（如投机采样、量化）的发展趋势？