大模型推理后台链路工程师（语音方向）（北京/深圳/上海）

优缺点分析

角色解读

• 技术专家路线：深耕AI推理与GPU优化领域，成为大规模机器学习系统架构师
• 技术管理路线：在积累深厚技术背景后，可带领团队负责更复杂的AI基础架构项目
• 前沿探索路线：持续跟进大模型与推理技术前沿，推动创新技术在产品中落地
• 设计和实现支持实时语音对话的大模型推理后台链路，确保低延迟和高吞吐
• 深入优化GPU上的AI模型推理性能，通过量化、并行计算等技术提升效率与性价比
• 构建高可用的分布式推理服务集群，保障大规模在线服务的稳定运行和弹性伸缩
• 扎实的C++/Go/Python编程能力和Linux系统、网络并发知识
• 精通至少一种深度学习推理框架（如TensorRT、vLLM）并有优化经验
• 熟悉CUDA编程和GPU底层机制，能进行算子优化和显存管理
• 掌握分布式系统和Kubernetes容器化技术，用于构建和运维复杂服务

申请策略

• 在面试前，可以针对“如何优化语音流式对话的端到端延迟”等问题，从系统链路各环节思考优化点
• 了解腾讯云或腾讯AI开放平台上的语音相关产品，思考该职位如何支撑这些业务
• 重点突出后端/基础架构项目经验，特别是涉及高并发、低延迟在线服务的设计与实现
• 详细描述GPU相关的开发或优化项目经验，如使用CUDA、TensorRT进行算子开发、模型量化或性能调优的具体成果
• 展示对分布式系统（如Kubernetes、微服务）的理解和实践经验，包括服务治理、弹性伸缩等
• 系统学习CUDA编程模型和GPU硬件架构知识，尝试对简单的深度学习算子进行性能分析与优化实践
• 深入研究一个主流推理框架（如vLLM）的源码，理解其调度、显存管理（如PagedAttention）等核心机制

面试指南

• STAR法则：清晰描述项目背景(Situation)、你的具体任务(Task)、你采取的行动(Action)和最终量化的结果(Result)，重点突出技术决策和优化效果
• 技术深度展示：回答性能优化问题时，从系统整体架构（如链路优化）到单点技术（如CUDA Kernel优化）分层阐述，体现系统化思维
• 问题驱动设计：回答架构设计问题时，先明确核心目标（低延迟、高可用），然后拆解挑战（如状态管理、资源调度），再提出相应的技术方案
• 请介绍一个你负责的高并发在线服务项目，你在其中负责什么？遇到了哪些技术挑战？如何解决的？
• 如何理解并优化GPU推理的吞吐量和延迟？请从CUDA编程、显存管理、批处理等角度谈谈
• 设计一个流式语音对话的推理服务链路，需要考虑哪些关键环节？如何保证低延迟和稳定性？
• 你对Kubernetes在AI推理服务调度和弹性扩缩容方面有哪些实践经验或理解？
• 系统梳理自己过去项目中的技术亮点，特别是与性能优化、分布式架构相关的部分，准备好深入的技术细节