小红书
大模型高性能推理研发工程师/专家
大模型高性能推理研发工程师/专家
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Ai Infra
Cuda
Pytorch
Sglang
Vllm
分布式训练
大模型推理
性能优化
值不值得投
77综合评分
综合评分 77
高技术门槛的AI Infra核心岗，技术成长快、挑战大，但工作生活平衡信息不明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
6万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1430 个在招 · 其中算法优化工程师 18 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 280 个在招
职位详情
关于这个职位
负责小红书大模型在训练与推理阶段的性能优化与基础设施研发工作
你将参与构建端到端的训练引擎，设计并实现高性能的LLM推理服务框架，并主导基于GPU/NPU的底层加速与优化，致力于降低业务推理成本并提升系统吞吐与效率
最低要求
AI 工程范式：熟练使用 Claude Code、Cursor、Codex 等工具，具备成熟的 Agentic Engineering 实践技巧，能够基于 AI 工具进行复杂的系统级 Debug、代码重构及单测生成
语言与系统基础：精通 C++ 与 Python，熟悉 Rust 或 Golang 开发，具备扎实的计算机体系结构、数据结构与操作系统底层知识，有深度学习相关框架的理解认知
框架实战能力：深入理解并具备修改 PyTorch 等主流深度学习框架源码的能力，对前沿模型架构有敏锐嗅觉，熟悉 Transformer、ViT，并对 Mamba、Linear Attention 等新型架构的计算特性有了解
需在以下至少一个方向有实战经验：
（1）训练：掌握 RLHF/DPO 全流程，精通 3D 并行（TP/PP/DP）、序列并行及 ZeRO 策略，熟悉大规模集群 GPU 调度容错机制
（2）推理：深入理解 vLLM、SGLang 等推理框架底层逻辑，精通 KV Cache 管理、PagedAttention、Chunked Prefill 等技术
（3）压缩：精通 SmoothQuant、AWQ、GPTQ 等量化算法，有大模型或多模态模型压缩落地的成功经验
底层性能优化：具备面向大模型性能优化的底层认知，覆盖芯片架构、通信机制与 Kernel 性能调优，并能在大规模集群场景下解决关键瓶颈：
（1）熟悉底层硬件架构（如 Nvidia GPU 或昇腾 NPU 的 Tensor Core、内存层级体系）与基础软件栈（CUDA / ROCm / CANN）
（2）掌握 NCCL / RDMA / IB / RoCE 等高性能网络通信机制，能解决千卡规模下的跨节点通信瓶颈
（3）具备高性能 CUDA Kernel 相关研发经验，能熟练使用 Nsight Systems/Compute 等工具进行 Profiling 与算子优化
工作职责
端到端训练引擎建设：参与开源大模型RL训练引擎Relax研发，突破 RLHF/DPO/GRPO/RLVR 等对齐技术的工程瓶颈，基于Megatron/veRL 等框架优化分布式并行与动态协同，解决千卡规模下的显存与通信痛点
推理框架与MaaS系统建设：研发面向 LLM/MLLM/DiT 的高性能推理服务框架，主导 KV Router、PD 分离及请求动态调度能力建设，基于 vLLM、SGLang 等建设万亿级 Token 并行推理与服务高可用架构
大模型加速算法落地：探索并落地大语言模型及多模态模型的低比特量化（W8A8/W4A8等）、投机采样、CoT压缩、蒸馏、剪枝等算法，支持各业务大幅降低推理成本
异构计算与底层优化：主导基于国产异构计算芯片（昇腾 NPU 等）及主流 GPU 的软硬协同优化，负责 AI 框架适配、模型移植、关键算子开发与性能优化，实现高吞吐与低延迟的推理系统
探索 Agentic AI Infra 研发范式：将 AI 工具深度融入 Infra 开发链路，熟练运用 AI 编程工具进行架构探索、复杂 Debug 与重构，大幅提升 AI Infra 全栈工程的迭代效率
优先资格
参与过主流开源大模型框架（如Megatron、veRL 、vLLM、SGLang、DeepSpeed等）的代码贡献与架构设计
在大规模集群建设中，成功解决过跨机房通信、动态容错训练、或国产化异构芯片大规模业务替代等生产级难题
具备较高的代码品味和工程洁癖，熟练配置和使用高效终端开发环境（如 Vim/Neovim、Ghostty、iTerm2 等）
在大模型系统级顶会（如 SOSP, OSDI, MLSys 等）发表过高水平学术论文
AI 洞察
优缺点分析
优点
- 技术前沿性极高：直接参与大模型训练、推理加速等核心热点领域的技术攻坚与落地
- 平台影响力大：工作成果将直接服务于小红书海量用户与业务，性能提升效果显著
- 技术栈深度与广度兼备：从顶层框架到底层算子，从算法到硬件，提供全面的系统级技术锻炼
- 公司技术投入力度大：在AI Infra领域有持续且强劲的投入，能接触到千卡集群等大规模工程实践
- 技术难度极高：需要同时具备算法理解、系统开发和底层优化的复合能力，对个人技术深度是巨大考验
- 紧跟技术迭代：AI Infra技术栈发展迅速，需要持续学习以保持技术领先性
- 适合具备扎实系统基础、对性能有极致追求、乐于解决复杂工程难题，并希望在AI核心基础设施领域深耕的高级工程师或技术专家
缺点 / 挑战
- 工程复杂度高：处理千卡集群、异构硬件下的稳定性、容错和性能问题，挑战极大
角色解读
- 技术专家路线：深耕AI系统与性能优化领域，成为训练/推理框架、异构计算方向的技术权威
- 技术管理路线：凭借深厚的技术功底和项目经验，带领团队负责更大型的AI基础设施平台建设
- 架构师路线：负责设计下一代AI计算平台的整体架构，制定技术路线，影响公司级技术战略
- 负责设计和实现面向大语言模型（LLM）的高性能分布式训练与推理引擎，解决千卡级别的计算和通信瓶颈
- 主导模型压缩（量化、蒸馏、剪枝）和底层算子优化算法在业务中的落地，显著降低推理成本
- 进行GPU/NPU等异构硬件的软硬件协同优化，包括算子开发、性能调优和框架适配
- 探索并实践Agentic AI工具在AI基础设施研发中的应用，提升开发迭代效率
- 精通C++/Python，拥有扎实的计算机体系结构、操作系统和分布式系统知识
- 深入掌握PyTorch等深度学习框架原理，有修改框架源码的能力，并熟悉Transformer等前沿模型架构
- 具备大规模分布式训练（如3D并行）或高性能推理（如vLLM、SGLang）的实战经验
- 熟练掌握CUDA/CANN编程和性能分析工具，具备底层算子优化和解决通信瓶颈的能力
申请策略
- 仔细研读JD中关于训练、推理、压缩三个方向的具体技术点，确保自己的经验能与之匹配，并在简历和面试中针对性阐述
- 了解小红书在大模型应用（如内容生成、搜索推荐）方面的业务场景，思考你的技术如何与之结合创造价值
- 准备好阐述你对“AI Infra”和“Agentic Engineering”的理解，这体现了对岗位深层次需求的把握
- 突出参与过的大规模分布式训练/推理系统项目，明确说明集群规模（如GPU卡数）和你负责的核心模块（如通信优化、算子开发）
- 强调对PyTorch、vLLM、Megatron等框架的源码级理解或贡献，以及具体的优化成果（如推理延迟降低百分比）
- 展示在CUDA Kernel开发、性能分析（Nsight使用）以及解决实际性能瓶颈（如显存、通信）方面的具体案例
- 如有相关开源贡献、顶会论文或使用AI编程工具提升开发效率的经历，务必清晰列出
- 深入了解国产AI芯片（如昇腾）的软件栈（CANN）和编程模型，补充异构计算生态知识
面试指南
- 使用STAR法则：清晰描述问题背景(S)、你的任务(T)、采取的具体行动(A)和最终量化的结果(R)
- 体现系统思维：不仅要说明用了什么技术，更要解释为什么在这个场景下选择该技术，以及可能带来的权衡（trade-off）
- 展示技术深度：在回答框架或算法问题时，尽量触及底层原理（如内存布局、通信模式），而不仅仅是使用层面
- 请描述一个你优化过的最复杂的大模型训练或推理性能问题，从发现瓶颈到最终解决的全过程
- 在vLLM或SGLang这样的推理框架中，KV Cache的管理是一个关键，你如何理解PagedAttention和Chunked Prefill技术？它们各自解决什么问题？
- 设计一个支持千亿参数模型、千卡规模的分布式推理服务架构，你会如何考虑负载均衡、故障恢复和弹性扩缩容？
- 如何评估和比较不同量化算法（如GPTQ、AWQ、SmoothQuant）在特定模型和硬件上的效果？你需要设计怎样的测试基准？
- 复习并实操vLLM、SGLang或Megatron-LM的源码，重点关注其核心优化技术（如PagedAttention、3D并行）的实现逻辑
职位点评
薪资福利75
成长发展90
工作生活60
使命价值80
薪资福利
75中等
作为大型互联网公司的核心技术岗，预计能提供具有市场竞争力的薪酬和福利包，但JD未明确披露具体信息。
薪资信号未披露（AI估算：4千–8万/月）
成长发展
90较高
该职位处于AI Infra技术最前沿，能深度参与大模型训练、推理加速、异构计算等核心领域的研发，技术成长空间和行业影响力巨大。
技术前沿前沿/新兴技术
技术栈RLHF、vLLM、SGLang、CUDA、昇腾NPU、分布式训练、模型量化
业务类型profit_center
工作生活
60中等
工作地点位于一线城市，技术挑战大，JD未提及工作模式、弹性工时或WLB相关信息，预估工作强度与压力较高。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
参与构建支撑海量用户的大模型基础设施，技术成果能直接赋能业务创新，具有较强的技术影响力和社会价值感。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs