英伟达
Networking Solution Test Engineer - AI Cluster Debugging
Networking Solution Test Engineer - AI Cluster Debugging
发布于 5 个月前普通员工/个人贡献者
上海市 / 北京市
中级经验
全职员工
仅现场办公
本科
系统与安全工程
系统级调试
自动化测试
Ai 集群
Linux 网络调试
NCCL
Python/Bash 脚本
Roce/Rdma
网络性能调优
AI 估算 · 35k–60k
该岗位要求AI集群网络与系统级调试的复合技能，技术门槛高，且处于AI基础设施核心领域，市场人才稀缺，薪资竞争力强。
职位详情
关于这个职位
这是一个专注于AI集群网络解决方案的测试与调试工程师岗位
你将负责设计和执行针对大规模以太网AI集群的端到端验证，包括构建测试环境、复现并定位复杂的跨硬件/软件/网络问题，并与开发团队紧密合作，确保AI训练和推理工作负载的网络性能与稳定性
最低要求
B.A./B.Sc. in Computer Science, Electrical Engineering, or equivalent IT/Network/Systems experience.
+ years of hands‑on networking or system‑level testing and debugging on Linux.
Strong Linux networking and debugging skills (for example perf, tcpdump, ethtool, iproute2).
Proven production‑grade debugging experience: forming hypotheses, running experiments, and driving issues to root cause under pressure.
Expertise in host‑side NIC validation and tuning (offloads, queues, interrupts, firmware/driver interactions).
Strong knowledge of AI networking libraries (such as NCCL) and protocols (such as RoCE and RDMA), including performance and correctness debugging.
Ability to read and reason about source code (C/C++/Python or similar) and collaborate closely with developers on fixes.
Solid scripting and automation skills with Bash / Python / Ansible for setup, log collection, and experiment orchestration.
Fast learner, familiar with modern AI tools and workflows, able to adapt quickly.
Excellent analytical, problem‑solving and communication skills, with strong ownership and a collaborative mindset.
工作职责
Design and review test and product requirements across the Ethernet / NIC / DPU / Switch portfolio, focusing on large‑scale AI cluster behavior.
Build and maintain realistic customer‑like testbeds, including heterogeneous hardware, OS / driver combinations and complex network fabrics.
Own end‑to‑end cluster troubleshooting: reproduce customer scenarios, triage across the stack and drive issues to root cause and fix.
Read and understand relevant source code to identify defects, validate fixes and improve logging and instrumentation.
Collaborate closely with development teams to debug NCCL, RoCE/RDMA and related networking components using logs, code inspection and targeted experiments.
Define tests and guide the automation team to implement robust suites that produce actionable logs, metrics and traces.
Run Regression, Performance, Functional and Scale testing, analyze results and provide clear, data‑driven reports to stakeholders.
Profile and benchmark deep learning training and inference workloads, correlating model‑level metrics with system and network telemetry to uncover bottlenecks.
优先资格
Hands‑on debugging of collective communication libraries (for example NCCL) or large‑scale LLM training / inference clusters.
Experience with large cluster environments (tens to thousands of GPUs or nodes), including incident response and post‑mortem analysis.
Deep expertise in tuning and debugging congestion control and lossless Ethernet for AI workloads (for example DCQCN, ECN, PFC).
Familiarity with NVIDIA networking technologies (for example BlueField / BF3, ConnectX NICs) and their software stack and diagnostics.
Experience debugging issues that span multiple layers (L2/L3, transport, AI frameworks) or contributing to open‑source networking / AI systems.
AI 洞察
优缺点分析
优点
- 平台优势：在英伟达这样的AI巨头工作，能接触最前沿的以太网AI集群技术和项目，技术视野开阔
- 技能复合：岗位融合了网络、系统、AI和自动化，能培养稀缺的跨栈调试与优化能力，职业护城河深
- 行业前景：处于AI算力基础设施的核心环节，职业发展与AI行业高速增长紧密绑定，未来机会多
- 问题复杂性：调试的问题常涉及硬件、驱动、协议栈和AI应用的多个层面，定位根因耗时耗力，对耐心和逻辑能力要求极高
- 竞争激烈：面向的是全球顶尖科技公司的岗位，候选人通常背景优秀，面试和技术考核标准非常高
- 适合热爱技术钻研、具备强大逻辑分析和问题解决能力，并对AI基础设施和系统级性能优化有浓厚兴趣的工程师
缺点 / 挑战
- 技术难度高：需要同时精通网络协议、系统内核、AI框架和硬件交互，学习曲线陡峭，工作压力大
角色解读
- 技术专家路径：深耕AI基础设施网络领域，成为NVIDIA或同类科技公司的核心技术专家或架构师
- 管理路径：积累项目经验后，可转向测试团队管理、技术项目管理或产品技术负责人等角色
- 行业拓展：凭借在顶尖AI公司的系统调试经验，可向云计算、超算中心或大型互联网公司的基础设施团队发展
- 负责设计和执行针对大规模AI集群的网络端到端测试，确保硬件、系统软件和AI工作负载的协同稳定性
- 构建并维护复杂的客户级测试环境，复现问题并进行跨技术栈的根因定位与修复
- 与开发团队紧密协作，调试NCCL、RoCE/RDMA等高性能网络组件，并推动自动化测试套件的开发
- 对深度学习训练和推理工作负载进行性能剖析，关联系统与网络指标，识别性能瓶颈
- 扎实的Linux系统与网络调试能力，熟练使用perf、tcpdump等工具进行问题诊断
- 深入理解AI网络协议（如NCCL、RoCE/RDMA）及其在高性能计算环境下的性能与正确性调试
- 具备阅读和推理C/C++/Python等源代码的能力，能与开发人员协作修复缺陷
- 熟练使用Bash/Python/Ansible进行脚本编写和自动化，以支持测试环境的搭建与实验编排
申请策略
- 深入了解英伟达在AI计算和网络方面的最新产品线（如Spectrum-X）及战略方向，在面试中展现你的行业洞察
- 准备1-2个能体现你“提出假设-设计实验-定位根因”完整调试思维过程的复杂问题案例，用于行为面试环节
- 重点突出在Linux环境下进行网络或系统级调试的实际项目经验，特别是涉及性能瓶颈定位和根因分析的部分
- 详细描述使用NCCL、RoCE/RDMA等协议进行AI集群网络测试或调优的相关经历，并量化性能提升等成果
- 展示通过阅读源码定位缺陷、编写脚本（Python/Bash）实现自动化测试或环境搭建的能力和具体案例
- 如有大型集群（数十节点以上）的运维、测试或故障响应经验，务必清晰阐述你在其中的角色和贡献
- 若对NVIDIA BlueField DPU或ConnectX NIC技术栈不熟，可提前学习其官方文档和软件工具，了解其调试方法
- 加强在无丢包以太网（PFC）、拥塞控制（DCQCN）等数据中心网络高级特性方面的理论知识与实践理解
面试指南
- 采用结构化回答：先清晰定义问题现象和影响范围，再阐述你的系统性排查步骤（如从应用层向下或从硬件层向上），最后总结根因和解决方案
- 结合具体工具和技术：在回答中自然地融入你使用的具体命令（如ethtool, tcpdump）、分析方法和推理逻辑，展示你的实战能力
- 体现协作与影响：说明你如何与开发、运维等团队沟通协作推动问题解决，并量化你的工作带来的改进（如性能提升百分比、问题解决时间缩短）
- 请描述一次你遇到的最复杂的跨层（如涉及网卡驱动、协议栈和AI应用）网络问题，你是如何一步步定位并解决它的？
- 你如何设计和执行一个测试来验证某个RoCE网络配置变更对大规模LLM训练任务性能的影响？
- 如果发现AI集群训练任务吞吐量突然下降，你的排查思路是什么？会关注哪些关键指标和日志？
- 请解释一下NCCL在All-Reduce操作中的通信流程，以及可能影响其性能的网络因素有哪些？
- 你如何评估一个自动化测试套件的有效性？你会关注哪些维度的指标？
职位点评
Watch Jobs