英伟达
AI Computing Software Development Intern, LLM Inference - 2027
AI Computing Software Development Intern, LLM Inference - 2027
发布于 5 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Llm
Pytorch
Tensorflow
Tensorrt
性能优化
推理软件
深度学习
值不值得投
83综合评分
综合评分 83
顶尖AI巨头核心推理团队实习岗，技术前沿且成长空间巨大，但工作节奏较快。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
9千
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 200 个在招 · 其中机器学习工程 11 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 360 个在招
职位详情
关于这个职位
该职位是英伟达AI计算团队的软件开发实习生，主要参与TensorRT LLM和TensorRT Edge LLM项目的推理软件开发与性能优化
你将跟进AI和LLM领域的最新学术进展，并与跨部门团队合作，推动机器学习推理技术的发展
最低要求
正在攻读计算机工程、计算机科学、应用数学或相关计算领域的硕士或更高学位
具备相关的软件开发经验
优秀的C/C++编程和软件设计技能，包括调试、性能分析和测试设计
对人工智能有强烈的好奇心，了解深度学习（如LLM、生成式和推荐模型）的最新进展
有使用TensorFlow和PyTorch等深度学习框架的经验
积极主动，能够在没有监督的情况下独立工作
具备优秀的英语书面和口头沟通能力
工作职责
设计和开发可扩展到多个平台的健壮推理软件，以实现功能和性能
进行性能分析、优化和调整
密切关注人工智能和大型语言模型领域的学术发展
为架构和硬件设计及开发提供反馈
跨公司合作，指导机器学习推理的方向，与软件、研究和产品团队合作
在科学会议上发表关键成果
AI 洞察
优缺点分析
优点
- 接触全球顶尖的AI推理技术栈（TensorRT），处于生成式AI爆发的核心赛道
- 能够参与从软件到硬件架构的全栈优化，技术壁垒高，个人成长空间巨大
- 公司平台顶尖，有机会在顶级科学会议上发表成果，提升行业影响力
- 底层性能优化和C/C++开发难度高，对计算机体系结构和算法功底要求苛刻
- 适合对底层系统、高性能计算和AI推理有浓厚兴趣，且具备扎实C/C++功底的计算机相关专业硕博研究生
缺点 / 挑战
- 需要紧跟AI和LLM领域快速迭代的学术和工业界进展，学习压力较大
角色解读
- 从实习生转正为AI计算团队的正式软件工程师，深入参与底层推理引擎研发
- 未来可向高性能计算专家、AI系统架构师或深度学习框架核心开发者方向发展
- 参与TensorRT LLM等核心推理软件的开发，编写高性能C/C++代码
- 进行模型推理的性能分析、优化与调优，跟进LLM领域的最新学术进展
- 与跨部门团队合作，将软件优化反馈到硬件架构设计中，并在科学会议上发表成果
- 扎实的C/C++编程基础，具备优秀的软件设计、调试和性能分析能力
- 熟悉PyTorch或TensorFlow等深度学习框架，了解LLM及生成式AI的最新进展
- 具备独立解决问题的能力，以及优秀的英语沟通能力
申请策略
- 提前了解NVIDIA的TensorRT-LLM开源项目，尝试在本地运行并阅读核心源码，面试时会有极大帮助
- 突出C/C++项目经验，特别是涉及性能优化、内存管理或多线程编程的经历
- 展示在PyTorch/TensorFlow等框架上的开发经验，或参与过LLM模型部署、推理加速的项目
- 强调学术研究成果，如有相关论文发表或参与过顶级开源项目应重点提及
- 深入学习CUDA编程和GPU体系结构，了解TensorRT的底层工作原理
- 熟悉主流LLM的推理优化技术（如KV Cache、PagedAttention、量化等）
面试指南
- STAR法则：针对性能优化问题，清晰阐述情境、任务、行动（具体使用的工具和分析方法）和结果（量化的性能提升指标）
- 原理+实践：回答LLM推理问题时，先简述理论原理（如Attention机制的内存墙），再结合工程实践（如算子融合、量化）给出解决方案
- 请详细描述一个你使用C/C++进行性能优化的项目，你是如何定位瓶颈并解决的？
- 你如何理解LLM推理过程中的计算瓶颈？有哪些常见的推理加速技术？
- 在PyTorch中自定义算子或进行模型部署时，你遇到过哪些挑战？
- 请介绍你跟进过的最新AI/LLM学术进展，以及它对工程实现的影响
- 复习C/C++核心知识（内存模型、多线程、编译优化）以及CUDA编程基础
- 准备1-2个自己主导的深度学习模型部署或性能优化项目，能够深入讲解细节
职位点评
薪资福利85
成长发展95
工作生活60
使命价值90
薪资福利
85较高
该实习岗位虽未明确披露具体薪资，但结合一线城市AI算法岗位的市场津贴水平，整体补偿性较好。
薪资信号未披露（AI估算：6千–1.1万/月）
成长发展
95较高
岗位处于AI大模型推理的核心技术栈，能接触到最前沿的GPU加速和深度学习框架，技术成长价值极高。
技术前沿前沿/新兴技术
技术栈C/C++、TensorRT、LLM、PyTorch、TensorFlow、Deep Learning
成长机会Publish key results in scientific conferences、exposure to the entire DL SW stack
业务类型profit_center
工作生活
60中等
JD中未明确提及工作模式和WLB相关信息，但职位描述中提及需要适应快节奏的交付团队，工作强度可能较高。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
90较高
参与构建推动深度学习AI革命的底层推理软件，处于生成式AI爆发的核心赛道，具有极高的技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号power a revolution in deep learning-powered AI、pushing the boundaries of state-of-the-art AI
创新程度开拓性创新（行业首创）
英伟达 的其他在招职位
相似职位推荐
Watch Jobs