Watch Jobs
Nvidia logo
英伟达
Developer Technology Engineer - AI
立即应聘

Developer Technology Engineer - AI

发布于 6 个月前

普通员工/个人贡献者

上海市 / 北京市
中级经验
全职员工
仅现场办公
本科
软件工程
Megatron
分布式训练
线性代数
高性能计算
CUDA
LLM
NCCL
TRTLLM

AI 估算 · 45k–80k

该职位要求顶尖的AI与GPU优化技能，涉及LLM等前沿领域，技术壁垒高，市场人才稀缺，薪资竞争力强。

职位详情

关于这个职位

该职位是英伟达的计算开发者技术工程师，专注于AI领域

你将与顶尖应用开发者（尤其是LLM领域）合作，研究和开发GPU加速技术，优化大型语言模型的训练和推理性能
核心工作包括深入分析和优化核心并行算法与数据结构，确保其在当前及下一代GPU架构上达到最佳性能，并直接贡献于Megatron、TRTLLM等主流框架

最低要求

工程或计算机科学相关专业大学学位（学士学位

硕士或博士学位更佳）
年以上工作经验
精通C/C++和/或Fortran
深厚的软件设计、编程技术和算法知识
精通LLM训练/推理优化，包括但不限于在分布式训练/推理、NCCL、NVSHMEM、IB、RoCE等方面的开发和优化经验
扎实的数学基础，包括线性代数和数值方法
并行编程经验，最好是CUDA C/C++和OpenACC
良好的沟通和组织能力，逻辑性强的问题解决方法，良好的时间管理和任务优先级排序能力

工作职责

直接与关键应用开发者（尤其是LLM）合作，了解他们当前和未来要解决的问题，通过库开发和直接贡献于应用程序，创建和优化核心并行算法和数据结构，以提供使用GPU的最佳解决方案

这包括大型语言模型的训练和推理优化，直接贡献于Megatron、TRTLLM、SGLang、vLLM等框架
与英伟达的架构、研究、库、工具和系统软件团队紧密合作，通过调查对应用程序性能和开发人员生产力的影响，影响下一代架构、软件平台和编程模型的设计
参与高性能算子的深度优化，涉及但不限于CUDA深度优化、指令和编译器优化
这些优化将直接支持客户或集成到cuDNN、cuBLAS和CUTLASS等产品中
需要为会议和开发者现场访问进行一些出差

AI 洞察

优缺点分析

优点

  • 顶尖技术平台：在英伟达工作，能接触到最前沿的GPU硬件和AI软件生态，技术视野开阔
  • 高价值技能积累：专注于AI基础设施的核心优化，技能壁垒高，长期职业竞争力强
  • 行业核心地位：直接赋能LLM等AI浪潮的关键应用，工作成果影响广泛，职业成就感高
  • 优质人才网络：与业内顶尖的开发者和研究团队合作，有利于构建高端人脉
  • 工作强度与要求高：作为核心研发岗位，需解决复杂的性能问题，可能面临较紧的项目时间要求
  • 领域快速迭代：AI和硬件技术更新迅猛，需要极强的自驱力来跟踪并掌握最新技术动态
  • 适合对底层系统、高性能计算和AI有浓厚兴趣，具备扎实工程能力和强烈求知欲，追求技术深度和影响力的资深工程师或研究员

缺点 / 挑战

  • 技术难度极高：需要同时精通底层硬件、系统软件和上层AI算法，学习曲线陡峭，持续学习压力大

角色解读

  • 技术专家路径：在GPU计算和AI系统优化领域持续深耕，成为架构师或首席科学家，主导关键技术突破
  • 技术管理路径：积累项目经验和跨团队协作能力后，可转向技术管理岗位，带领团队负责更大范围的产品或技术方向
  • 行业影响力路径：通过参与顶级会议、开源项目贡献，建立个人在AI基础设施领域的技术声誉和影响力
  • 与大型语言模型等领域的顶尖开发者合作，分析其性能瓶颈，设计并实现GPU加速方案
  • 深度优化核心算法和高性能算子，涉及CUDA编程、编译器优化，并将成果集成到cuDNN等核心库中
  • 参与下一代GPU软硬件架构的协同设计，通过实际应用反馈影响产品路线图
  • 扎实的系统编程能力：精通C/C++，熟悉软件设计与算法，具备并行编程（尤其是CUDA）的实战经验
  • 深入的AI与HPC知识：精通LLM训练/推理的全栈优化，熟悉分布式计算框架（如NCCL）和高速网络（如IB）
  • 强大的数学与工程基础：拥有良好的线性代数和数值方法功底，能进行算法层面的性能分析与优化

申请策略

  • 深入了解英伟达的开发者技术生态和近期在AI计算方面的技术发布（如新一代GPU架构、软件库更新），在申请和面试中展现你的关注
  • 准备1-2个能体现你系统性解决性能优化难题的完整技术案例，清晰地阐述问题、分析、方案和结果
  • 突出与GPU编程（CUDA）和AI模型优化直接相关的项目经验，量化性能提升指标（如吞吐量提升X倍，延迟降低Y%）
  • 详细展示在分布式训练、LLM推理优化或高性能算子开发方面的具体贡献和技术细节
  • 列举熟悉的英伟达技术栈（如NCCL, cuDNN, TensorRT）及相关开源框架（如Megatron, vLLM）的使用或贡献经验
  • 强调解决复杂系统性能问题的分析能力和工程实践，体现实战能力
  • 深化CUDA编程与性能分析：通过实践项目熟练掌握Nsight工具链，深入理解GPU内存层次、 warp调度等对性能的影响
  • 系统学习LLM系统知识：了解Megatron-LM、vLLM等流行框架的架构与源码，掌握模型并行、流水线并行等分布式策略

面试指南

  • STAR原则结合技术细节：描述情境(S)和任务(T)后，重点阐述采取的具体技术行动(A)，并用量化结果(R)证明有效性
  • 展现系统性思维：从问题表象深入到根本原因（如算法复杂度、内存访问模式、并行粒度、通信开销），再提出分层解决方案
  • 体现学习与总结能力：不仅说明做了什么，还要分享从中学到了什么，以及对未来类似问题的思考
  • 请描述一个你使用CUDA优化计算密集型内核的经历，你遇到了什么挑战，如何分析和解决的？
  • 在分布式训练LLM时，如何诊断和解决通信瓶颈（例如使用NCCL时）？
  • 如果有一个矩阵乘法算子性能未达预期，你会如何进行性能剖析和优化？
  • 请谈谈你对Megatron-LM或vLLM等推理框架架构的理解，你认为有哪些可能的优化点？
  • 你如何评估一个新的GPU架构特性（如新的Tensor Core）对特定AI工作负载的潜在性能影响？

职位点评

英伟达 的其他在招职位

相似职位推荐

Watch Jobs