英伟达
Principal Architect, AI Inference Networking - NIXL and Dynamo
Principal Architect, AI Inference Networking - NIXL and Dynamo
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公架构师
架构师
Gpu编程
Llm推理
Rdma
Roce
分布式系统
开源贡献
高性能计算
值不值得投
83综合评分
综合评分 83
顶尖AI推理架构岗、前沿技术栈、高成长性与强技术影响力，跨时区协作需适应。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
11.0万
比架构师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 430 个在招 · 其中架构师 7 个
市场机会
选择面较广
上海 · 架构师 · 约 140 个在招
职位详情
关于这个职位
负责推动NVIDIA开源推理传输库NIXL及Dynamo框架在中国区的落地与采用
深入客户推理栈进行性能剖析，优化KV缓存移动、内存注册及传输调度等瓶颈
编写NIXL后端与插件，参与动态数据路径API设计，并将中国区需求反馈至全球产品路线图
同时通过技术分享与基准测试培育本地开发者社区
最低要求
计算机科学、电子工程或计算机工程硕士或博士学位，或具备同等深度的行业经验
年以上构建或优化大规模分布式系统的经验，涵盖AI推理或训练基础设施、通信库、高性能网络或HPC运行时
精通C++和Python系统编程，且有性能关键代码的实际交付经验
具备RDMA网络（InfiniBand或RoCE）和GPU内存移动方面的实操经验
熟悉现代LLM服务架构，包括prefill/decode分离、KV缓存管理、张量与流水线并行，并至少掌握一种推理栈（Dynamo、TensorRT-LLM、vLLM、SGLang、Triton）
具备出色的沟通能力，在客户工程团队和NVIDIA核心库维护者中拥有足够的技术公信力
流利掌握普通话和英语，能够适应跨中国、以色列和美国时区的工作节奏
工作职责
推动NIXL在中国区的采用，从首次架构对话到原型验证、基准测试，再到生产环境部署及上游代码贡献
剖析客户推理栈，修复导致吞吐量和TTFT下降的问题：如KV缓存移动、内存注册、传输调度等
编写NIXL后端和插件，扩展Dynamo集成，并将优化方案向上游贡献至NIXL和GPUDirect类数据路径
协助定义使数据路径动态化的API，支持生产推理集群中的弹性扩缩容、Worker频繁变更及运行时重路由
将区域需求带入NVIDIA的产品路线图，并以足够的技术权威性影响决策
通过技术演讲、基准测试和参考架构，培育围绕NIXL的本地开发者社区
优先资格
向NIXL、Dynamo、NCCL、vLLM、SGLang、TensorRT-LLM或Mooncake等开源项目做出过贡献（公司会审阅你的提交记录）
具备真实规模下的推理部署经验：数千张GPU集群、多租户环境、严格的SLO保障
熟悉CUDA，并能阅读内核与驱动层代码以定位底层问题
拥有自主构建的开发者社区或具有广泛影响力的开源项目/技术演讲
AI 洞察
优缺点分析
优点
- 接触全球最前沿的AI推理网络架构与开源生态
- 直接参与核心底层技术研发，技术壁垒极高
- 跨国协作视野广阔，个人技术影响力可直接转化为行业标准
- 要求12年以上深厚积累，技术门槛极高
- 需频繁跨中美以时区协作，沟通与同步成本高
- 适合在AI基础设施、高性能网络或分布式系统领域有深厚积淀的高级技术专家，追求技术深度与行业影响力
缺点 / 挑战
- 面对客户生产环境的复杂场景，调试与优化压力较大
角色解读
- 可向首席科学家或技术 Fellow 发展，成为AI基础设施领域的权威专家
- 也可转向技术管理岗，带领跨区域的基础设施研发团队
- 深入客户生产环境剖析AI推理栈性能瓶颈，针对KV缓存、内存与网络传输进行底层优化
- 编写NIXL/Dynamo后端插件并推动上游合并
- 定义支持弹性推理的动态API
- 精通C++/Python高性能编程
- 熟练掌握RDMA网络协议与GPU内存管理
- 深刻理解LLM推理架构（Prefill/Decode分离、KV Cache、并行策略）
- 具备大规模分布式系统设计与调优经验
申请策略
- 提前研究NVIDIA开源生态及技术博客，准备针对性的架构设计案例
- 面试中展现对底层性能瓶颈的敏锐度与系统性解决思路
- 突出大规模分布式系统实战经验与性能调优成果
- 详细列出参与的开源项目贡献及代码合并记录
- 强调LLM推理栈优化案例与量化收益
- 深化CUDA与底层驱动调试能力
- 跟进NIXL/Dynamo/vLLM等最新开源项目动态
- 强化跨文化技术沟通与架构表达能力
面试指南
- 采用STAR法则结构化阐述背景、任务、行动与结果
- 重点突出性能指标提升数据、技术选型权衡过程及底层原理分析
- 展示从问题发现到闭环优化的完整逻辑
- 请分享一次你优化大规模分布式系统网络传输或内存移动的具体案例
- 如何设计支持动态扩缩容的推理服务数据路径？
- 在缺乏完整文档的情况下，如何通过逆向分析定位GPU驱动或内核层的性能问题？
- 复习RDMA/InfiniBand底层机制与GPU Direct技术细节
- 梳理过往主导的架构演进与性能攻坚项目
职位点评
薪资福利85
成长发展92
工作生活65
使命价值88
薪资福利
85较高
基础薪资处于市场中上水平，配合完善的福利与长期激励，整体补偿性动机满足度较高。
薪资信号偏高 (8.0千–14.0万/月)
成长发展
92较高
岗位直接参与定义前沿AI推理网络架构与开源标准，技术栈极新且处于行业爆发期，成长空间与技术影响力巨大。
技术前沿前沿/新兴技术
技术栈NIXL、Dynamo、RDMA、LLM推理、CUDA、分布式系统
业务类型profit_center
工作生活
65中等
虽未明确提及弹性办公，但高阶技术岗通常享有较好自主权；跨时区协作可能带来一定作息调整压力，整体生活化动机中等偏上。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
88较高
致力于解决AI推理规模化落地的核心网络瓶颈，推动开源生态建设，具有显著的技术突破价值与行业推动作用。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
英伟达 的其他在招职位
相似职位推荐
Watch Jobs