AI基础设施研发工程师

优缺点分析

角色解读

• 在AI基础设施领域深耕，成为智算平台架构师或技术专家
• 向大模型推理优化、高性能计算方向深入发展，参与前沿技术研究
• 有机会晋升为技术团队负责人，管理AI基础设施研发团队
• 负责智算AI基础设施底座的部署优化和维护，支持池化、虚拟化、训推混合、弹性伸缩调度、镜像加速等能力特性的研发
• 对常用模型进行不同算力的适配优化，通过智能网关、PD分离、KVCache等能力进行推理加速，维护和开发vllm、sglang等推理引擎
• 支撑Agentic模型训练、微调，强化学习训练场景，以及智能体的沙箱和调度等能力研发，包括状态存储、记忆管理和智能体引擎等
• 参与技术产品化，形成平台能力支持客户的池化、虚拟化、大规模推理服务、大规模沙箱系统的部署、优化，开发运维工具，参与三线技术问题解决
• 精通至少一门编程语言（Java、C、C++、PHP、Python、Golang），熟悉Linux/Unix操作系统
• 掌握计算机系统结构、操作系统内核、网络、分布式系统、算法等基础知识
• 熟悉开源推理和沙箱组件，如sglang、vllm、firecracker、agentenv、cubesandbox
• 具备AI相关基础知识，了解大模型推理优化技术（如KVCache、PD分离）

申请策略

• 关注中国电信在AI基础设施方面的战略布局，了解其智算平台产品
• 在面试中展示对大规模推理系统性能优化的实际案例
• 突出在AI推理引擎（如vllm、sglang）上的开发或优化经验，包括具体项目成果
• 强调分布式系统、操作系统内核、网络等底层技术能力，展示扎实的计算机基础
• 如果有CUDA算子优化或大模型部署项目经验，务必详细描述
• 提及开源社区贡献，尤其是相关框架的PR或issue
• 深入学习vllm、sglang等推理引擎的源码，理解其架构和优化策略
• 补充CUDA编程和算子优化知识，提升GPU性能优化能力

面试指南

• 对于技术问题，采用STAR法则：情境、任务、行动、结果，突出具体技术细节和量化成果
• 对于设计类问题，先明确需求，再提出架构方案，最后讨论权衡和优化点
• 对于优化类问题，从性能瓶颈分析入手，结合工具和实验数据，展示系统性思维
• 请详细描述你使用vllm或sglang进行模型推理优化的经验，具体优化了哪些指标？
• 如何设计一个支持弹性伸缩的智算基础设施底座？
• 解释KVCache在推理加速中的作用，以及如何实现PD分离？
• 你如何优化大模型推理的TTFT和吞吐量？
• 在分布式系统中，如何保证高可用和一致性？