英伟达
Deep Learning Model and System Optimization Engineering Intern – 2027
Deep Learning Model and System Optimization Engineering Intern – 2027
发布于 3 小时前实习/见习
实习生仅现场办公高性能计算
高性能计算
Cuda
Gpu架构
Kv Cache
Llm推理
Pytorch
Tensorrt-Llm
混合精度
量化
值不值得投
薪资怎么样
9.0千
比高性能计算中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 510 个在招 · 其中高性能计算 14 个
市场机会
选择适中
上海 · 高性能计算 · 46 个在招
职位详情
关于这个职位
加入英伟达深度学习推理团队，围绕大语言模型在 GPU 上的推理性能开展研究与工程优化，工作涵盖低精度量化（FP8、NVFP4 等）、KV Cache 压缩、注意力机制与投机解码等方向
你将与模型、框架、内核及 GPU 架构团队紧密协作，把前沿模型高效落地到 TensorRT-LLM 等推理框架，属于典型的模型与系统协同优化（co-design）研究型实习
最低要求
就读于知名高校计算机科学、计算机工程、电子工程、应用数学或相关专业的硕士或博士项目，预计毕业时间为 2028 年
可作为实习生工作至少三个月，每周至少到岗四天
深入理解 Transformer 架构与大语言模型推理，熟悉 attention、MoE、KV cache 管理等核心组件
具备至少一种大语言模型推理框架的使用经验，如 TensorRT-LLM、vLLM、SGLang 或类似框架
熟练掌握 Python 与 PyTorch，具备较强的实验设计、数据分析、调试与问题解决能力
具备至少一种 GPU 编程技术的经验，如 CUDA C/C++、Triton 或类似的并行编程框架
理解 GPU 架构、内存层次结构、Tensor Cores、并行计算与性能分析
熟悉低精度计算相关概念，包括量化误差、scaling、rounding、clipping、group/block 量化与混合精度计算
能够从模型精度、内核性能与端到端推理性能三个维度评估一项优化技术
具备良好的沟通、技术写作、组织与跨职能协作能力
工作职责
从模型架构、数值精度、GPU 内核、内存系统与端到端服务框架等多个层面分析和优化推理性能
针对模型权重、激活值、attention 操作数与 KV cache 开发低位量化技术
探索 FP8、NVFP4、MXFP4 等新兴低精度数值格式与混合精度策略，同时保持模型精度与能力
设计并评估 KV cache 压缩、稀疏化、分层存储以及跨推理请求复用等技术
优化 MHA、GQA、MQA、MLA、滑动窗口注意力、稀疏注意力、线性注意力以及状态空间模型等模型架构的推理
研究投机解码、状态复用与计算复用等模型-系统协同优化技术
为长上下文推理与 agentic 工作负载构建性能模型与优化策略，重点关注吞吐、首 token 时延、token 间时延、内存效率与部署成本
与模型、框架、内核、库、系统软件与 GPU 架构团队紧密合作，影响未来模型、软件平台与硬件架构的设计
优先资格
具备在 NVIDIA GPU 上优化内核或端到端工作负载的实操经验
在模型量化、KV cache 优化、高效注意力、投机解码或长上下文推理方面有研究或工程经验
对推理框架、GPU 库、编译器或其他相关开源项目有贡献
有生产规模 LLM 推理工作负载的性能剖析与优化经验
AI 洞察
优缺点分析
优点
暂无明确优点
缺点 / 挑战
暂无明显挑战项
角色解读
- 所处方向为大模型推理性能优化，是当前 AI 基础设施中最紧缺、最前沿的技术领域之一
- 可接触 TensorRT-LLM、FP8/NVFP4 等工业级框架与最新数值格式，技术积累稀缺性高
- 与模型、内核、硬件架构多团队协作，能建立完整的系统视角与跨栈能力
- 国际化公司的研究氛围与工程规范，对后续读博或进入 AI Infra 领域都有加成
- 要求同时具备模型理解与底层 GPU 编程能力，学习曲线陡峭，需较强的自驱力
- 研究型任务多为开放性探索，短期可能得不到理想结果，需要耐心做实验与性能分析
- 需保证每周至少四天、连续三个月以上到岗，对课业安排有一定压力
- 适合计算机/电子/应用数学方向的研究生，对 LLM 推理系统、GPU 性能优化与低精度计算有强烈兴趣，并已有一定 CUDA/Triton 与推理框架实践基础
- 也适合计划进入 AI Infra 或读博深造的候选人
- 实习期可深入接触工业级 LLM 推理系统与最新低精度格式，是进入 GPU 系统/AI 基础设施方向的强背书
- 后续可沿推理框架与内核优化、模型量化研究、软硬件协同设计（含 GPU 架构）等路径发展
- 表现优秀者有较大概率转正或获得推荐，进入 AI 系统软件与高性能计算的核心团队
申请策略
暂无内容
面试指南
暂无内容
英伟达 的其他在招职位
相似职位推荐
Watch Jobs