蚂蚁集团-推理网关研发工程师-杭州

优缺点分析

角色解读

• 技术专家路线：在GPU调度、AI推理基础设施领域持续深耕，成为该细分领域的顶尖技术专家
• 架构师路线：从单个组件（网关）的开发，逐步负责更广泛的AI基础设施或网络架构的设计与演进
• 技术管理路线：带领团队进行技术攻关，负责相关技术方向的规划与落地
• 设计和开发服务于大模型推理服务的高性能网关系统，是AI业务流量的关键入口
• 研究和实现创新的GPU流量调度算法，目标是优化计算资源利用效率，直接降低AI推理服务的运营成本
• 负责解决大规模、高并发场景下AI推理服务的稳定性、扩展性及用户体验问题
• 精通C/C++/Golang等系统级编程语言，具备扎实的系统软件开发功底
• 深入理解大模型推理全链路，掌握GPU调度技术（如Prefill/Decode分离、Prefix Cache等）和主流模型服务协议
• 熟悉云原生网关（如Envoy、MOSN）架构，并有高性能网络代理的大规模生产实践经验
• 熟悉分布式系统原理，具备性能分析、调优及保障系统稳定性的综合能力

申请策略

• 仔细研究蚂蚁集团在AI基础设施方面的公开技术文章和专利，了解其技术栈和关注点
• 在面试中，除了展示技术能力，更要体现你对如何通过技术优化AI推理成本与体验的思考和见解
• 突出在C++/Golang系统级编程、高性能网络代理或网关开发方面的项目经验
• 强调任何与GPU编程（CUDA）、AI推理框架（如TensorRT, vLLM）或调度算法相关的实践经验
• 展示在大规模分布式系统、性能优化、稳定性保障方面的具体成果和思考
• 如有使用或研究Envoy、MOSN等云原生组件的经验，应重点描述
• 系统学习并实践GPU流量调度相关技术，如Prefix Cache、负载均衡算法在AI推理场景的应用
• 深入研究Envoy、MOSN等主流云原生网关的源码和架构，了解其扩展机制

面试指南

• 对于架构理解类问题，采用'分层-组件-流程'的框架：先说明网关在整体架构中的位置，再分解其核心组件，最后描述请求处理的典型流程
• 对于设计类问题，采用'目标-约束-方案-权衡'的框架：先明确调度目标（如降低延迟、提高吞吐），分析约束条件（GPU显存、显卡状态），提出具体调度算法（如基于SLO的队列），最后说明该方案的优缺点
• 对于项目经验类问题，采用'背景-任务-行动-结果'的框架，突出你的技术决策和量化成果
• 请描述一下你对大模型推理网关的理解，它在AI服务架构中扮演什么角色？
• 如果让你设计一个支持Prefix Cache感知的GPU调度策略，你会如何考虑？请简述思路
• 请介绍一个你参与过的高性能网络代理或网关项目，你在其中负责解决的核心技术难题是什么？
• 在分布式系统中，如何保证请求的幂等性？请举例说明
• 你如何看待AI推理服务的成本与体验之间的权衡？可以从技术角度谈谈你的看法