英伟达
Developer Technology Engineer - AI
Developer Technology Engineer - AI
发布于 大约 16 小时前普通员工/个人贡献者
上海市 / 北京市
高级经验
全职员工
仅现场办公
本科
软件工程
Cuda
Gpu
Llm
Megatron
Nccl
Vllm
分布式训练
高性能计算
Cudnn
AI 估算 · 30k–60k
英伟达作为AI芯片巨头，该岗位聚焦核心LLM优化，技术壁垒高，市场稀缺，薪资竞争力强，月薪估算3-6万。
职位详情
关于这个职位
作为英伟达Compute DevTech团队的AI开发技术工程师，你将深入客户项目，利用GPU优化大规模语言模型（LLM）的训练和推理性能
工作包括核心算法并行化、高性能算子调优、分布式通信优化，并影响下一代GPU架构设计
适合热爱底层性能优化、对AI基础设施有浓厚兴趣的工程师
最低要求
A degree or equivalent experience from a university in an engineering or computer science related field. A masters or doctoral degree is preferred.
+ years of work experience.
Solid understanding of C, C++, Python, or Fortran.
Strong knowledge of software development, programming techniques, and algorithms.
Strong mathematical fundamentals, including linear algebra and numerical methods.
Background in parallel programming and accelerated computing, with comprehensive knowledge of parallel architectures and methods for performance analysis and tuning.
Experience in full-stack performance analysis and optimization within at least one of these areas: large language models and high-performance computing.
Solid software engineering fundamentals and system architecture thinking, with the ability to build modules and drive engineering practices in complex systems.
Strong communication and cooperation abilities, with the capability to work efficiently alongside architecture, research, and software product teams to promote optimization from concept to production.
工作职责
Working directly with key application developers to understand the current and future problems they are solving. You will build and optimize core parallel algorithms and data structures to deliver the most effective solutions using GPUs, through both library development and direct contribution to applications. This includes training and inference optimization for large language models (LLM), contributing to frameworks and open-source projects in the large language models ecosystem, such as Megatron and TRTLLM, SGLang, vLLM...
Collaborating closely with the architecture, research, libraries, tools, and system software teams at NVIDIA to influence the build of next-generation architectures, software platforms, and programming models. This includes investigating impact on application performance and developer efficiency, and turning real-world developer feedback into actionable platform improvements.
Engaging in deep optimization of high-performance operators, involving but not limited to GPU kernel optimization, instruction-level tuning, and compiler optimization. These optimizations will directly support customers or be coordinated within computation libraries and open-source projects across the community, like cuDNN, cuBLAS, and CUTLASS and Open-source libs like DeepGEMM, FlashMLA, FlashAttention, Flashinfer...
Improving communication for broad distributed large language models workloads. You will spearhead advancements in distributed training and inference by refining communication libraries(NCCL, NCCL GIN, NVSHMEM) and engaging in open-source communication libraries(like DeepEP, NCCL EP). This demands in-depth study of interconnect topologies(NVLINK) and network protocols(InfiniBand/RoCE) to design efficient data transfer strategies and methods for compute-communication overlap.
AI 洞察
优缺点分析
优点
- 站在AI计算最前沿，直接接触LLM核心优化，技术成长极快
- 英伟达平台资源丰富，可深入GPU底层生态，影响全球开发者
- 团队技术氛围浓厚，与业界顶尖工程师合作，项目积累含金量高
- 薪资待遇优厚，外企福利完善，上海/北京/深圳可选
- 技术深度要求高，需要同时掌握GPU、分布式系统和ML模型优化
- 工作强度较大，项目周期紧，需要快速迭代和跨团队协作
- 行业竞争激烈，需要持续学习跟上硬件和算法演进速度
- 适合对底层性能优化充满激情、有扎实系统编程背景、渴望在AI基础设施领域成为顶尖人才的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术深化：成为GPU计算和AI基础设施领域的顶尖专家，主导核心库开发
- 架构影响力：晋升为技术负责人，参与NVIDIA下一代芯片和软件栈设计
- 跨界发展：向AI平台架构师或研究科学家方向演进，或转向产品管理
- 与客户应用开发者紧密合作，分析并优化大规模语言模型（LLM）在GPU上的训练和推理性能
- 开发和优化核心并行算法与数据结构，参与Megatron、vLLM等开源框架的贡献
- 进行GPU kernel调优、编译优化及分布式通信库（如NCCL）的改进，提升计算效率
- 与架构团队协作，将实际反馈转化为下一代GPU硬件的优化方向
- 扎实的C/C++/Python编程能力，精通并行编程和GPU编程（CUDA）
- 深厚的数学基础，包括线性代数和数值方法，理解并行架构性能调优
- 在LLM或高性能计算领域有全栈性能优化经验，从算子到框架层
- 熟悉分布式通信（RDMA、NVLink、InfiniBand）及开源库
申请策略
- 面试中准备一个完整的性能优化案例分析，展示从分析到落地的过程
- 关注NVIDIA技术博客和GTC大会内容，展现对GPU生态的热情
- 突出GPU编程项目经验，特别是CUDA kernel优化或分布式训练相关
- 展示对LLM推理/训练框架的改进贡献，如性能提升数据
- 强调系统编程能力和编译器、网络通信等底层知识
- 附上GitHub链接或开源贡献（如Megatron、FlashAttention等）
- 深入学习NVIDIA CUDA编程模型和性能分析工具（Nsight Systems/Compute）
- 动手复现LLM分布式训练场景，熟悉NCCL和集合通信调优
面试指南
- 采用STAR法：先描述场景和任务，说明采用的优化方法（如线程束组织、共享内存使用），量化性能提升指标
- 结合系统思维：不仅关注算子本身，还要考虑与上层框架、通信拓扑的协同
- 描述一次你使用CUDA优化核函数的经历，如何分析瓶颈并提升性能？
- 解释分布式训练中all-reduce通信的原理，如何减少通信开销？
- 你对FlashAttention的实现有何了解？它如何优化注意力计算？
- 如何调试GPU内存错误或线程同步问题？
- 你认为LLM推理部署中最大的性能挑战是什么？如何解决？
- 复习CUDA内存模型、线程层次结构和性能优化技巧
职位点评
75
综合评分
顶尖AI芯片公司的核心技术岗位，前沿技术栈，成长空间大，但工作强度和WLB一般。
更适合这类人
最适合理性驱动、追求技术前沿和职业成长的求职者，不太适合追求工作生活平衡的人。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
英伟达薪资在行业内具有很强竞争力，福利完善，但JD未明确具体薪资范围。
薪资信号未披露（AI估算：30K-60K/月）
成长发展
95较高
岗位处于AI计算最前沿，技术栈新（LLM、GPU优化、分布式通信），成长空间极大，但JD未明确提及晋升路径。
技术前沿前沿/新兴技术
技术栈GPU、LLM、CUDA、NCCL、分布式训练、Megatron、TRTLLM、FlashAttention
业务类型profit_center
工作生活
40较低
岗位要求全职现场办公，未提及弹性工作，工作强度可能较大，WLB信号薄弱。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
AI基础设施优化对社会生产力有显著提升，但JD未提具体使命导向。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs