大模型网关服务端工程师

优缺点分析

角色解读

• 在技术深度上，可以成为大模型基础设施领域的专家，深入掌握网关架构、流量治理和性能优化
• 在业务广度上，可向AI平台架构师或技术负责人方向发展，负责更大规模的AI基础设施规划
• 随着大模型技术的普及，该岗位经验在行业内具有高迁移性，职业发展空间广阔
• 设计并实现大模型网关的核心架构，处理高并发、低延迟的AI请求调度，确保系统稳定高效
• 对接国内外主流大模型（如OpenAI、Anthropic），开发协议转换、动态路由和故障熔断功能，实现多模型统一接入
• 负责新模型的接入与效果验证，为算法研究员提供高效的工具链，支持模型选型与使用
• 构建网关的可观测性体系，量化成功率、延迟、流式完整性等核心指标，持续优化服务质量
• 扎实的计算机基础，包括数据结构、计算机网络和操作系统，这是解决复杂系统问题的根基
• 精通OpenAI/Anthropic等大模型API接口细节，具备协议转换经验者优先
• 熟悉MySQL数据库和Redis缓存设计，能够处理高并发场景下的数据存储与缓存策略
• 自驱力强，能主动钻研新技术，有使用AI编程工具（如Claude Code）的经验更佳

申请策略

• 在面试中展示你对AI基础设施的热情和对大模型生态的理解，体现自驱力
• 关注小米AI业务的发展动态，了解其技术栈和产品方向，以便在面试中更好地展示匹配度
• 突出服务端高并发系统的设计与实现经验，尤其是网关、代理或中间件相关项目
• 强调对OpenAI/Anthropic等大模型API的熟悉程度，如有协议转换或模型接入经验务必重点展示
• 展示Go语言的使用经验，以及MySQL、Redis等数据库和缓存的优化案例
• 提及使用AI编程工具（如Claude Code）的经验，并说明对其原理的理解
• 深入学习Go语言并发模型和性能调优，熟悉网络编程和系统底层原理
• 研究主流大模型API的协议细节，动手实践协议转换和接口适配

面试指南

• 对于系统设计类问题，可以遵循'需求分析-架构设计-关键技术点-权衡取舍'的框架，突出你的思考过程和决策依据
• 对于技术原理问题，建议结合具体项目案例，说明你如何应用知识解决实际问题，并总结经验和教训
• 对于开放性问题，可以展示你的学习能力和技术热情，结合对大模型生态的理解提出有见地的想法
• 请介绍你设计或维护过的网关或代理系统，如何保证高并发和低延迟？
• 如何实现不同大模型（如OpenAI和Anthropic）之间的协议转换？
• 在设计动态权重路由和故障熔断时，你会考虑哪些关键因素？
• 如何设计网关的可观测性体系来量化成功率、延迟等指标？
• 请谈谈你对Go语言并发模型的理解，以及如何用它优化网关性能