AI推理平台-百炼网关研发工程师/专家-杭州/北京

优缺点分析

角色解读

• 技术专家路线：深入云原生网关、高性能计算与AI基础设施领域，成为该领域的技术权威
• 架构师路线：负责更大规模、更复杂系统的整体架构设计与技术规划
• 技术管理路线：带领团队进行技术攻坚和平台建设
• 负责设计和开发AI原生网关的核心系统，构建低延迟、高并发的流量接入与处理能力
• 实现网关的安全防护和智能流量调度功能，确保系统稳定与性能极致
• 参与构建面向多模态AI时代的高速传输网络基础设施
• 精通C++或Golang，具备优秀的抽象能力和系统设计能力
• 深入理解Linux操作系统、多线程与异步编程模型
• 熟悉微服务、分布式系统，并有网关、调度系统或云原生平台的实际开发经验

申请策略

• 在申请前，可以关注“百炼”平台及相关技术博客，了解该网关可能解决的具体业务问题
• 面试时，可以结合自身经验，探讨在AI推理场景下，网关设计与传统Web网关的异同和挑战
• 重点突出高性能、高并发系统（如网关、代理、调度系统）的设计与开发经验
• 详细描述在Linux环境下使用C++/Golang进行多线程、异步编程的项目成果
• 列举对微服务、分布式系统及Kubernetes/云原生技术的理解与实践经验
• 如有开源项目贡献（特别是Nginx/Envoy/Higress等）或高性能计算相关成果，应重点展示
• 深入研究AI推理框架（如TensorRT-LLM, vLLM）的工作原理及其对网络传输的需求
• 学习和实践Envoy/Higress等现代云原生网关的扩展开发

面试指南

• 系统设计类问题：采用分层（接入层、调度层、转发层）思想，结合具体需求（多协议、低延迟）展开，并讨论核心数据结构、算法和并发模型
• 性能优化类问题：从I/O模型（epoll）、内存管理、锁竞争、CPU亲和性、零拷贝等角度切入，并结合实际指标（如QPS、P99延迟）说明优化效果
• 技术理念类问题：结合对AI发展趋势和云原生技术的理解，阐述网关作为AI基础设施核心组件的必要性和演进方向
• 请设计一个支持多模态AI推理请求的高性能网关，你会如何考虑架构？
• 如何实现网关的智能、柔性流控策略，以最大化合法流量并防止系统过载？
• 描述一下你实现过的高性能转发系统或优化网络延迟的具体案例
• 微服务架构下，如何保证网关自身的稳定性和可观测性？
• 你如何看待当前主流的AI推理框架（如SGLang, TensorRT-LLM）对底层网关提出的新要求？