英伟达
Principal Architect, AI Inference Networking - NIXL and Dynamo
Principal Architect, AI Inference Networking - NIXL and Dynamo
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公架构师
架构师
Cuda
Llm Serving
Rdma
Roce
Tensorrt-Llm
Vllm
值不值得投
85综合评分
综合评分 85
顶尖AI基础设施架构岗，技术前沿且极具行业影响力，薪资丰厚，但需适应跨时区协作与高挑战性的底层技术攻坚。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
11.5万
比架构师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 200 个在招 · 其中架构师 6 个
市场机会
选择面较广
上海 · 架构师 · 约 100 个在招
职位详情
关于这个职位
该职位负责推动NVIDIA开源推理传输库NIXL及Dynamo在中国的落地与优化，解决大规模AI推理集群中的网络与数据传输瓶颈
你需要深入客户推理栈进行性能调优，编写底层网络后端代码，并将中国区需求反馈至全球研发团队以影响产品路线图
最低要求
计算机科学/电子工程/计算机工程硕士或博士学位，或在业界积累的同等深度经验
年以上构建或优化大规模分布式系统的经验：AI推理或训练基础设施、通信库、高性能网络或HPC运行时
精通C++和Python系统编程，有交付性能关键代码的经验
具备RDMA网络（InfiniBand或RoCE）和GPU内存移动的实操经验
熟悉现代LLM服务，包括prefill/decode分离、KV缓存管理、张量和流水线并行，以及至少一种服务栈（Dynamo, TensorRT-LLM, vLLM, SGLang, Triton）
具备出色的沟通能力，能够获得客户工程团队和NVIDIA核心库维护者的技术认可
流利的普通话和专业的英语，能够适应跨中国、以色列和美国时区的工作
工作职责
推动NIXL在中国的采用，从最初的架构讨论、原型设计和基准测试，到生产环境部署和上游贡献
分析客户推理栈，修复影响吞吐量和TTFT（首字响应时间）的问题：KV缓存移动、内存注册、传输调度
编写NIXL后端和插件，扩展Dynamo集成，并向NIXL和GPUDirect类数据路径贡献上游优化
帮助定义使数据路径动态化的API，支持生产推理集群中的弹性扩展、节点变动和运行时重路由
将区域需求引入NVIDIA的路线图，并具备足够的技术权威来改变它
通过演讲、基准测试和参考架构，发展NIXL在当地的社区
优先资格
对NIXL、Dynamo、NCCL、vLLM、SGLang、TensorRT-LLM或Mooncake有开源贡献（我们会查看你的提交记录）
具备真正的大规模推理经验：数千张GPU、多租户集群、严格的SLO
熟悉CUDA，能够舒适地阅读内核和驱动级代码以深入底层寻找答案
拥有自己建立的社区：人们采用的项目或人们仍在引用的演讲
AI 洞察
优缺点分析
优点
- 站在AI基础设施的最前沿，直接参与定义下一代大模型推理网络架构（NIXL/Dynamo），技术壁垒极高
- 与全球顶尖工程师紧密合作，拥有极高的技术话语权和开源社区影响力
- 适合在高性能计算、分布式系统或AI底层基础设施领域有深厚积累，且具备极强技术热情与开源精神的资深技术专家
缺点 / 挑战
- 需要解决极具挑战性的底层性能问题，对系统级调优和跨时区跨国沟通要求极高
- 技术迭代极快，需要持续跟进最新的LLM推理架构和硬件特性，学习压力较大
角色解读
- 作为核心基础软件团队的资深架构师，未来可向全球首席架构师、技术Fellow或基础软件研发总监方向发展
- 深度参与并影响全球AI基础设施的技术演进，建立极高的行业技术影响力
- 负责NVIDIA开源推理传输库NIXL及Dynamo在中国区大客户推理集群中的落地、性能调优与架构设计
- 深入分析并解决大规模AI推理中的网络传输、KV缓存移动等底层性能瓶颈，编写C++/Python核心代码并推动上游开源贡献
- 具备12年以上大规模分布式系统、高性能网络（RDMA/InfiniBand）及GPU内存管理的深厚经验
- 精通C++/Python系统级编程，熟悉现代LLM推理服务栈（如vLLM, TensorRT-LLM）及CUDA底层机制
申请策略
- 在简历或面试中附上你的GitHub开源贡献链接（特别是NIXL、vLLM等相关项目），这将是极大的加分项
- 重点突出在大规模分布式系统、RDMA网络、GPU内存管理方面的实战经验，以及在主流推理框架上的深度优化或源码贡献
- 展示解决复杂性能瓶颈（如提升吞吐量、降低TTFT）的具体案例和量化数据
- 深入研读NIXL、Dynamo、NCCL的开源代码，了解最新的prefill/decode分离架构及KV cache管理策略
- 提升跨文化、跨时区的技术沟通与架构布道能力
面试指南
- 采用“背景-问题-底层分析-解决方案-收益”的STAR法则，重点突出对底层硬件（GPU、网卡）和系统软件（OS、驱动）的深刻理解，以及量化性能提升的数据
- 在大规模分布式推理集群中，如何解决KV cache跨节点传输带来的延迟和带宽瓶颈？
- 请详细描述一次你使用RDMA或InfiniBand优化GPU内存移动或网络传输的经历
- 在prefill和decode分离的架构下，如何设计动态API以支持弹性扩缩容和运行时重路由？
- 你如何看待当前主流LLM推理框架在底层网络传输上的局限性及优化方向？
- 提前阅读NIXL和Dynamo的官方文档与核心源码，了解其架构设计初衷
- 复习CUDA编程、RDMA网络协议栈以及现代LLM推理的并行策略（张量并行、流水线并行）
职位点评
薪资福利90
成长发展95
工作生活60
使命价值90
薪资福利
90较高
作为跨国巨头的资深架构师岗位，薪资水平处于行业顶尖，且具备极高的稳定性和完善的福利体系。
薪资信号未披露（AI估算：8千–15万/月）
成长发展
95较高
处于AI基础设施的最前沿，直接参与定义下一代推理网络架构，技术成长空间和技术影响力无可比拟。
技术前沿前沿/新兴技术
技术栈C++、Python、RDMA、InfiniBand、RoCE、CUDA、NIXL、Dynamo、vLLM、TensorRT-LLM
业务类型profit_center
工作生活
60中等
跨国巨头通常提供较好的工作生活平衡，但该岗位需跨中国、以色列和美国时区工作，且为资深架构师，工作强度可能较大。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
90较高
推动全球AI基础设施的演进，解决大模型推理的核心网络瓶颈，具有极高的行业使命感和社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
英伟达 的其他在招职位
相似职位推荐
Watch Jobs