参数服务器研发工程师-搜广推

优缺点分析

角色解读

• 成为分布式系统架构专家，主导大规模AI基础设施的设计与演进
• 横向扩展到搜广推全栈，理解算法与系统协同优化，向技术Leader发展
• 积累前沿技术经验（如LLM推理优化），可转型至AI芯片或云计算基础设施领域
• 设计和开发高性能参数服务器，优化通信、存储和并发模型，支撑大规模稀疏模型在线推理
• 与算法团队协作，理解前沿模型需求并转化为系统优化方案，如RDMA、HBM分层存储等
• 跟踪业界前沿技术，探索新硬件（GPU/XPU）和网络技术（RoCE、DPDK）在参数服务器中的应用
• 精通C++，具备扎实的数据结构和算法基础，有分布式系统或高性能计算经验
• 深入理解参数服务器架构、一致性协议及性能调优，有大规模稀疏模型推理系统研发经历
• 熟悉RDMA、RoCE等高性能网络技术，有异构计算（GPU/XPU）应用经验

申请策略

• 提前了解小红书搜广推业务场景，思考参数服务器如何支撑亿级用户推荐
• 面试中准备系统设计题，如设计一个支持海量embedding的分布式参数服务器
• 突出分布式系统或高性能计算项目经验，尤其是参数服务器、稀疏模型推理相关
• 详细描述你在RDMA、GPU优化、网络协议栈等方面的具体工作与成果
• 展示解决高并发、低延迟问题的案例，最好有量化数据（如延迟降低比例、吞吐提升）
• 若缺少RDMA经验，可学习相关技术文档并搭建实验环境实践
• 深入理解TensorFlow/PyTorch的底层算子执行和模型部署流程

面试指南

• 对于系统设计题，先明确需求（QPS、延迟、参数规模），然后分层设计（存储、同步、通信），最后讨论一致性模型和容错
• 性能优化题可从瓶颈定位（profiling）、硬件特性（GPU/HBM/NIC）、软件层面（并发模型、零拷贝）逐步论述
• 请设计一个大规模的参数服务器架构，如何处理参数同步一致性和容错？
• RDMA相比传统TCP在参数服务器中有哪些优势？实际应用中会遇到哪些问题？
• 如何优化GPU embedding lookup的性能？请从存储和计算角度分析
• 描述一次你调试分布式系统性能瓶颈的经历，用了哪些工具和方法？
• 对搜广推模型（如DIN、DCN）的参数访问模式有何理解？如何针对性优化？
• 复习分布式系统经典论文（如Google Parameter Server、Ray等），并思考实现细节