大模型-推理平台研发工程师

优缺点分析

角色解读

• 从推理平台工程师起步，逐步深入大模型系统优化，成为高性能计算专家
• 可向AI基础设施架构师发展，负责大规模集群设计和前沿推理技术落地
• 也可横向扩展至算法侧，结合工程经验深入模型压缩、推理加速等方向
• 负责大模型推理平台的日常开发与维护，包括部署、监控、性能调优，确保服务高可用
• 深入优化KVCache集群，解决大规模并发推理下的内存瓶颈，提升推理效率和吞吐量
• 设计并管理推理资源的调度策略，优化集群利用率，降低总体推理成本
• 与算法团队协同，支持多模态及不同规模模型的推理需求，参与架构设计演进
• 扎实的计算机基础，掌握数据结构、操作系统、网络和并发编程
• 至少精通Go/Python/C++/Rust中的一种，具备良好的工程素养
• 理解分布式系统原理，对调度、kv cache、性能分析有浓厚兴趣
• 熟悉Linux环境，有Kubernetes或相关调度系统使用经验更佳

申请策略

• 关注米哈游的招聘动态，第一时间投递，多向内部员工了解团队技术方向
• 准备时多思考推理平台如何降本增效，结合具体案例展示你的分析能力
• 突出自己的系统编程功底，如内存管理、并发控制、网络编程相关项目
• 如果有参与过大模型推理或分布式训练项目，详细写明你的贡献和优化效果
• 强调对开源社区的热情，如提交过PR或Issue，尤其是vllm、K8s、ray等
• 展示学习能力，如追踪大模型论文并做技术分享
• 提前熟悉vllm、sglang等推理引擎，阅读源码并尝试改动
• 动手部署一个简单的推理服务，用K8s进行资源调度，了解Volcano等调度框架

面试指南

• 针对项目类问题，按照STAR法则（情境、任务、行动、结果）回答，突出个人贡献和量化结果
• 针对原理类问题，要抓住核心概念，用类比或举例讲清楚，体现深度理解
• 针对系统设计题，先明确需求，再拆解模块，注重权衡和扩展性
• 请介绍你参与过的与分布式系统或高性能计算相关的项目，具体做了什么优化？
• 你知道哪些大模型推理优化技术？如KV Cache、PagedAttention，能详细讲讲原理吗？
• 如果让你设计一个推理服务调度系统，你会如何考虑资源利用率和延迟？
• 如何排查一个分布式系统的性能问题？定位到瓶颈的话你会怎么处理？
• 你对Kubernetes或容器化技术掌握到什么程度？有没有实际使用经验？