英伟达
Software Engineer, AI and DL Kernel Libraries
Software Engineer, AI and DL Kernel Libraries
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Gpu Optimization
Llm Inference
Pytorch
值不值得投
84综合评分
综合评分 84
顶尖外企AI底层研发岗，技术前沿且极具挑战性，适合追求技术深度的资深工程师
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
6.3万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 510 个在招 · 其中人工智能 19 个
市场机会
选择面较广
上海 · 人工智能 · 约 390 个在招
职位详情
关于这个职位
负责英伟达AI软件栈核心组件的开发与优化，包括深度学习原语、Kernel库及LLM推理运行时
需使用C++/CUDA进行高性能计算编程，设计可扩展的软件抽象层，并与编译器、GPU架构团队紧密协作，以提升大规模AI工作负载的性能与效率
最低要求
计算机科学、电气工程或相关领域的硕士学位，或同等工作经验
年以上机器学习、深度学习系统、编译器或GPU软件相关的行业、研究或系统软件开发经验（高级职位需要更多经验）
精通C/C++和Python编程，具备开发高性能软件的实战经验
扎实的CUDA开发和GPU编程基础
熟练使用PyTorch、JAX、TensorFlow或ONNX等深度学习框架
良好的线性代数、性能分析、配置分析和代码优化理解
具备为性能敏感系统设计软件抽象、API或高层系统架构的经验
熟悉现代机器学习和推理系统趋势，特别是LLM和生成式AI领域
对于高级候选人，期望在GPU内核开发和性能优化方面有丰富经验，特别是使用CUDA C/C++、cuTile、Triton等技术
工作职责
开发生产级软件，作为NVIDIA AI软件栈的一部分发布，包括cuDNN、FlashInfer以及对大语言模型推理工作负载的优化支持
创新并开发新的AI系统技术以实现高效推理，重点关注性能、可扩展性、可维护性和可用性
为LLM推理、生成式AI、计算机视觉、自动驾驶和推荐系统等高影响力AI工作负载设计和优化内核
为深度学习库、LLM服务引擎和运行时系统设计并实现可扩展的软件抽象
构建和改进用于性能关键型GPU工作负载的即时编译、代码生成和运行时技术
分析工作负载性能，调整现有软件，并提出对未来软件和软硬件接口的改进建议
与NVIDIA内部的深度学习框架、库、内核、编译器和GPU架构团队的工程师密切合作
在相关情况下，为开源社区和生态系统集成做出贡献，包括FlashInfer、vLLM和SGLang等项目
优先资格
拥有vLLM、SGLang、MLC、TensorRT-LLM等推理引擎和运行时的实战经验
在LLM推理和训练领域的特定领域编译器、代码生成或库解决方案方面有背景
精通机器学习编译器或IR系统，如MLIR、Apache TVM、TensorIR及相关技术
具备GPU性能建模、计算机体系结构或加速器导向软件设计的实践经验
在深度学习系统、编译器、内核或推理基础设施方面拥有开源项目所有权或有意义的贡献
AI 洞察
优缺点分析
优点
- 接触最前沿的AI底层技术与LLM推理生态，技术栈极具竞争力
- 平台资源雄厚，能参与开源核心项目
- 具备深厚计算机系统功底、热爱底层技术研发、对AI硬件协同有浓厚兴趣的高级软件工程师
缺点 / 挑战
- 对底层系统能力要求极高，需兼顾性能优化与软件抽象设计，技术门槛高，竞争压力大
角色解读
- 可向AI系统架构师、深度学习编译器专家或高性能计算领域的高级技术领导方向发展
- 负责NVIDIA AI软件栈核心组件（如cuDNN、FlashInfer）的开发与优化，确保其在GPU上的高性能运行
- 精通C++/Python，深入理解CUDA编程和GPU架构，掌握深度学习框架原理及LLM推理系统
申请策略
- 关注NVIDIA开源项目（如vLLM、FlashInfer）的贡献记录，体现对生态系统的参与度
- 突出CUDA内核优化、编译器开发或高性能计算项目经验，展示对LLM推理系统的深入理解
- 强化对现代GPU架构（如Hopper/Blackwell）的理解，熟悉MLIR/TVM等编译器工具链
面试指南
- 采用STAR法则，重点阐述问题背景、技术选型依据、具体优化手段（如内存布局、并行策略）及量化结果
- 请描述你优化过的最复杂的CUDA内核，遇到了哪些瓶颈？
- 如何设计一个高效的LLM推理服务抽象层？
- 对比PyTorch和TensorRT在推理性能上的差异及原因
- 复习计算机体系结构知识，准备1-2个涉及性能调优的详细项目案例，了解最新LLM推理技术趋势
职位点评
薪资福利85
成长发展95
工作生活70
使命价值80
薪资福利
85较高
作为已上市的跨国巨头，提供具有市场竞争力的薪酬和完善的福利体系，符合资深技术人员的市场价值。
薪资信号偏高 (4.5千–8.0万/月)
成长发展
95较高
职位直接参与前沿AI系统技术研发，接触LLM、编译器及GPU架构等核心技术，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈CUDA、LLM、PyTorch、MLIR、Triton、vLLM
业务类型profit_center
工作生活
70中等
虽未明确提及弹性工作制，但作为研发型岗位，通常比业务部门拥有较好的工作自主性，不过高强度技术攻关可能伴随一定压力。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
通过优化AI基础设施，直接推动全球AI应用的发展与创新，具有显著的技术影响力和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
英伟达 的其他在招职位
相似职位推荐
Watch Jobs