AI Infra / 推理系统工程师

优缺点分析

角色解读

• 可以从AI基础设施工程师成长为技术专家，深耕大模型推理、训练、调度等方向，成为领域权威
• 可以转向技术管理岗位，带领团队负责AI基础设施的规划与建设，影响公司技术战略
• 可以横向拓展到AI平台、云原生、高性能计算等相关领域，拓宽技术视野和职业发展空间
• 负责大模型训练、推理、部署、调度、监控等基础设施的搭建与维护，确保系统稳定高效运行
• 优化模型推理性能、资源利用率和成本效率，通过技术手段提升服务质量和降低运营成本
• 参与GPU/NPU资源管理、分布式任务调度、模型服务化、缓存和并发优化等核心模块的开发与调优
• 支撑大模型应用、Agent平台、训练平台和评测平台的基础能力，为业务提供稳定可靠的技术底座
• 扎实的编程基础，熟练掌握C++、Python、Go、Rust、Java中至少一门语言，能够进行高效的系统开发
• 深入理解操作系统、计算机网络、分布式系统、数据库等计算机基础知识，具备系统级问题分析能力
• 对性能优化、系统稳定性、云原生、GPU计算或大模型部署有浓厚兴趣，并具备相关实践经验
• 熟悉Kubernetes、Docker、Ray、Slurm、Triton、vLLM、TensorRT等工具，有CUDA、GPU编程经验者优先

申请策略

• 在简历中突出与AI基础设施相关的项目，量化性能提升或成本降低的成果
• 了解美团无人车业务的技术挑战，在面试中展现对业务的理解和技术热情
• 突出大模型训练、推理、部署相关项目经验，展示在性能优化、资源管理方面的实际成果
• 强调编程语言（C++/Python/Go等）的熟练程度，以及分布式系统、云原生等基础知识的掌握
• 如果有GPU编程、模型量化、推理加速等经验，务必重点提及，这是加分项
• 展示对技术前沿的探索，如MoE优化、KV Cache管理、Speculative Decoding等，体现技术热情
• 深入学习Kubernetes、Docker等容器化技术，以及Ray、Slurm等分布式调度框架
• 熟悉vLLM、TensorRT等推理框架，了解模型量化、推理加速等优化技术

面试指南

• 回答技术问题时，建议采用STAR法则（情境、任务、行动、结果），清晰描述项目背景、个人职责、具体行动和量化成果
• 对于系统设计问题，可以从需求分析、架构设计、技术选型、性能优化、稳定性保障等维度展开，体现系统思维
• 对于前沿技术问题，可以结合自身理解，阐述其原理、应用场景和潜在挑战，展现技术深度和学习能力
• 请介绍一个你参与过的大模型训练或推理项目，重点说明你负责的技术难点和解决方案
• 如何优化大模型推理性能？请从系统层面和算法层面分别阐述
• 谈谈你对Kubernetes、Docker等容器原生技术的理解，以及在大模型部署中的应用
• 如何设计一个高可用的分布式任务调度系统？
• 你对模型量化、KV Cache管理、Speculative Decoding等前沿技术有何了解？