Agora logo
声网
大模型推理加速实习生

大模型推理加速实习生

发布于 2 小时前

实习/见习

AI 估算 · 6.0千–1.0万 · AI 参考估算
无经验要求
本科
实习生仅现场办公性能优化
性能优化
Cuda
Kv Cache
Nvidia Gpu
Pytorch
Sglang
Vllm
性能分析
模型量化

值不值得投

73综合评分

综合评分 73

前沿大模型推理优化实习,技术成长强,办公与生活节奏未明确

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便比较实习机会。

薪资怎么样

8.0千

比性能优化中位数低

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

27 个在招

市场机会

选择适中

上海 · 性能优化 · 22 个在招

职位详情

关于这个职位

这是一个面向在读本科/研究生的大模型推理加速实习岗位,主要参与大语言模型在 NVIDIA GPU 上的推理性能优化

你将围绕 PyTorch、vLLM、SGLang 等框架开展性能分析、瓶颈定位、优化验证和 Benchmark,并支持推理服务部署与稳定性改进

最低要求

计算机、软件工程、人工智能等相关专业在读本科生或研究生,能够保证实习时间

熟悉 Python,具备良好的编程基础
掌握 C++ 者优先
了解 PyTorch 等深度学习框架,理解模型推理的基本流程
对 NVIDIA GPU、CUDA 或并行计算有兴趣和一定了解,有相关课程、竞赛或项目实践者优先
了解 Transformer、LLM 的基本原理,能够阅读相关技术文档和代码
具备较强的学习能力、问题分析能力和沟通协作意识

工作职责

参与大语言模型在 NVIDIA GPU 环境下的推理性能优化,协助提升推理吞吐、降低时延和显存占用

基于 PyTorch、vLLM、SGLang 等框架,参与模型推理链路的性能分析、问题定位和优化验证
协助开展推理优化工作,包括批处理策略、KV Cache 管理、混合精度、量化及并行推理等
参与推理性能评测与 Benchmark,使用 Profiling 工具分析瓶颈,并整理实验结果和优化结论
与算法、平台及工程团队协作,支持模型推理服务的部署、调优和稳定性改进

优先资格

使用过 vLLM、SGLang、TensorRT-LLM 或 TensorRT 等推理框架

了解 Continuous Batching、Paged Attention、Speculative Decoding 等推理优化技术
有模型量化、KV Cache 优化、显存优化或推理性能评测相关项目经验
使用过 nsys、ncu 等性能分析工具,或熟悉 cuDNN、CUTLASS、cuBLASLt 等高性能计算库
有 CUDA、GPU Kernel 或分布式推理相关实践经验

AI 洞察

优缺点分析

优点

  • 岗位直接聚焦大模型推理加速,涉及 vLLM、SGLang、CUDA、KV Cache 等当前高价值技术方向
  • 与算法、平台及工程团队协作,有助于理解大模型从模型到服务的全链路落地过程
  • 加分项覆盖 TensorRT-LLM、GPU Kernel、分布式推理等,适合希望深耕 AI 基础设施的实习生
  • 大模型推理优化涉及系统、GPU、模型和框架多层知识,学习曲线较陡
  • 岗位明确为实习且要求保证实习时间,可能需要平衡学业与项目投入
  • 适合计算机、软件工程、人工智能等相关专业在读本科生或研究生,尤其是有 Python、PyTorch、CUDA 或 GPU 项目实践经历,并希望进入大模型推理与 AI 基础设施方向的求职者

缺点 / 挑战

  • 工作内容包含真实性能瓶颈定位、Benchmark 和服务部署,能积累较完整的工程闭环经验
  • 性能优化需要大量实验、对比和数据分析,对耐心、严谨性和问题拆解能力要求较高

角色解读

  • 从实习期的基础性能评测、实验复现和问题定位入手,逐步积累大模型推理优化的工程经验
  • 后续可向 GPU 性能优化、推理引擎开发、高性能计算、AI 基础设施等方向深入发展
  • 若持续强化 CUDA Kernel、分布式推理和模型量化能力,可成长为大模型推理系统工程师或性能优化工程师
  • 参与大语言模型在 NVIDIA GPU 上的推理性能优化,重点围绕吞吐、时延和显存占用做改进
  • 使用 PyTorch、vLLM、SGLang 等框架分析推理链路,定位性能瓶颈并验证优化方案
  • 参与批处理策略、KV Cache 管理、混合精度、量化和并行推理等具体优化工作
  • 通过 Benchmark 和 Profiling 工具整理实验数据,并与算法、平台、工程团队协作推进服务部署和稳定性改进
  • 需要具备 Python 编程基础,并了解 PyTorch 等深度学习框架及模型推理基本流程
  • 需要理解 Transformer 和 LLM 的基本原理,能够阅读技术文档和相关代码
  • 需要对 NVIDIA GPU、CUDA、并行计算有基础认知,具备性能分析和问题定位意识
  • 加分技能包括 C++、vLLM、SGLang、TensorRT-LLM、Continuous Batching、Paged Attention、Speculative Decoding、nsys、ncu、cuDNN、CUTLASS、cuBLASLt 等

申请策略

  • 申请时建议附上 GitHub、课程项目、竞赛项目或实验报告,重点说明自己在性能优化中的具体贡献
  • 面试前了解声网的实时音视频与 AI 相关业务背景,思考大模型推理优化如何支撑低时延、高并发服务场景
  • 突出 Python、C++、PyTorch、CUDA 等编程与框架能力,并写明在相关项目中的具体使用场景
  • 重点展示与 LLM、Transformer、模型推理、vLLM、SGLang、TensorRT-LLM 相关的课程、竞赛或科研经历
  • 如果有性能优化项目,建议量化说明吞吐提升、时延降低、显存节省或 Benchmark 结果
  • 强调阅读技术文档、复现论文或开源框架代码的能力,以及跨团队协作和实验总结能力
  • 提前熟悉 vLLM 或 SGLang 的基本使用流程,跑通一个开源大模型的推理与 Benchmark
  • 补充学习 Continuous Batching、Paged Attention、Speculative Decoding、KV Cache 和量化等核心优化概念

面试指南

  • 项目类问题采用“背景—目标—方法—结果—复盘”的结构,重点讲清楚瓶颈是什么、优化方案为什么有效、结果如何量化
  • 技术概念类问题先解释原理,再结合吞吐、时延、显存占用三个指标说明工程影响,最后补充自己做过或读过的相关实践
  • 排查类问题按照“现象确认—指标采集—瓶颈定位—方案验证—回归评测”的步骤回答,体现严谨的实验思维
  • 请介绍一个你参与过的模型推理或性能优化项目,你具体负责了哪些部分?
  • 如何理解 LLM 推理中的 KV Cache?它对显存和吞吐有什么影响?
  • Continuous Batching、Paged Attention 和 Speculative Decoding 分别解决什么问题?
  • 如果线上推理服务时延突然升高,你会如何使用 Profiling 工具定位瓶颈?
  • 你熟悉 PyTorch、vLLM 或 SGLang 到什么程度?是否阅读或修改过相关源码?

职位点评

薪资福利68
成长发展92
工作生活45
使命价值76

薪资福利

68中等

JD 未披露薪资和福利信息,因此补偿性动机只能基于岗位技术门槛和实习性质判断。作为大模型推理加速实习岗,津贴可能具备一定竞争力,但缺少明确福利承诺。

薪资信号未披露(AI估算:6.0千–1.0万/月)

成长发展

92较高

岗位高度聚焦大模型推理加速,涉及 GPU、CUDA、vLLM、SGLang、量化和性能分析等具体技术,成长信号很强。JD 虽未提及培训或晋升路径,但工作内容本身对 AI 基础设施能力积累非常直接。

技术前沿前沿/新兴技术
技术栈大语言模型、NVIDIA GPU、PyTorch、vLLM、SGLang、CUDA、KV Cache、混合精度、量化、并行推理、TensorRT-LLM、TensorRT、Continuous Batching、Paged Attention、Speculative Decoding、nsys、ncu、cuDNN、CUTLASS、cuBLASLt、GPU Kernel、分布式推理
业务类型ambiguous

工作生活

45较低

JD 仅说明地点在上海,未明确远程、混合办公、弹性工时或双休等信息。由于要求保证实习时间,生活灵活性存在一定不确定性。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

76中等

岗位属于大模型推理效率优化方向,技术处于前沿,对提升模型服务效率和资源利用率有实际价值。JD 未直接描述社会使命或行业愿景,意义感主要来自技术方向本身。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs