小红书
大模型推理研发专家
大模型推理研发专家
发布于 大约 13 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Gpu编程
Kv Cache
Sglang
Tensorrt-Llm
Vllm
分布式推理
推理性能优化
模型量化
值不值得投
73综合评分
综合评分 73
技术深度与前沿性极强的AI Infra岗位，成长性高，但预期工作强度也大，WLB非核心优势。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
50K
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1440 个在招 · 其中机器学习工程 24 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 440 个在招
职位详情
关于这个职位
负责小红书AI大模型基础设施中的推理引擎研发与优化，深度参与高性能在线推理框架设计、分布式推理能力建设、模型压缩算法落地以及异构芯片适配等工作，旨在通过技术手段大幅提升推理性能、降低成本，并赋能公司多个核心业务
该岗位是技术深度与系统广度兼具的专家角色
最低要求
任职资格：
具备扎实的代码能力、数据结构和基础算法功底，熟悉 Rust / C++ / Python 中至少一门语言，具备良好的工程实现能力和代码质量意识
熟悉大模型推理、模型压缩、深度学习框架中的至少一个方向，并具备源码阅读、修改、性能优化或工程落地经验
熟悉至少一种主流推理或深度学习框架，如 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix、PyTorch、ONNX、TensorRT 等
理解大模型推理核心链路，对 KV Cache 管理、PagedAttention、Chunked Prefill、Continuous Batchin、PD 分离、请求调度、推理服务稳定性等技术有经验或深入认知
理解模型压缩常用方法，对量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术有经验或深入认知
能围绕延迟、吞吐、并发、显存、通信、精度、成本、业务效果等指标进行系统分析，在推理性能、压缩效果和业务收益之间做合理权衡
具备较强的问题定位和系统优化能力，能够借助 Profiling、日志、监控和实验分析等手段定位复杂系统瓶颈，并推动问题闭环
具备良好的学习能力、沟通协作能力和自驱力，能与算法、MaaS、平台、业务团队协同推进技术落地
工作职责
工作职责：
推理框架研发：参与 rLLM 推理框架研发，支撑 LLM、MLLM、DiT 等模型的高性能在线推理
分布式推理能力建设：参与 KV Router、PD 分离 / EPD 分离、KV Cache 管理、Prefix Cache 复用、动态请求调度等核心能力建设
推理性能优化：围绕 TTFT、TPOT、吞吐、并发能力、GPU 利用率等指标，持续优化推理框架性能和资源效率
模型压缩算法落地：探索并落地大语言模型和多模态模型的低比特量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术，在保证业务效果的前提下降低推理成本
压缩评估与部署闭环：建设模型压缩评估与部署闭环，平衡精度、延迟、吞吐、显存、成本与业务效果，将压缩算法转化为稳定、可复用、可规模化的生产能力
系统可靠性建设：构建推理框架的系统容错能力，包括请求迁移、优雅退出、故障检测、自愈恢复、灰度发布等能力
异构芯片推理适配：负责推理引擎在国产异构计算芯片（昇腾 / PPU 等）上的适配与深度优化，完成模型迁移、算子开发、Profiling、Kernel 调优、并行策略与服务架构调优，推动国产算力在推理场景的规模化使用
多模型与多硬件适配：支撑 LLM、MLLM、Embedding、Rerank、DiT 等多类型模型在 Nvidia GPU、国产 NPU / PPU 等多种硬件上的推理、压缩和部署落地
业务协同：与算法、MaaS、平台和业务团队深度协作，为重点业务进行算法与系统联合优化，支撑业务推理成本下降和性能提升
优先资格
加分项：
参与过 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等主流推理框架的代码贡献或核心模块开发
熟悉 CUDA Kernel、Attention / GEMM 算子优化、FlashAttention、PagedAttention 等底层优化技术
熟悉 NCCL、RDMA、IB、RoCE 等高性能通信机制，有多机多卡推理优化经验
有 SmoothQuant、AWQ、GPTQ、KV Cache 压缩、投机解码等算法的工程落地经验
有大规模线上推理服务稳定性建设经验，解决过高并发、故障迁移、弹性扩缩容、SLO 保障等生产问题
熟悉多模态模型或 DiT 类模型推理链路，有相关部署、压缩和优化经验优先
有国产异构芯片（昇腾 Ascend、平头哥 PPU）推理适配或 Kernel 开发经验，熟悉 CANN / ROCm 等基础软件栈，有大模型在国产芯片上生产级替换或规模化部署经验者优先
深入理解 GPU / NPU 硬件架构及性能瓶颈（Tensor Core、内存层级、计算单元、通信拓扑），能结合硬件特性设计差异化推理或压缩优化方案
有推理或压缩方向论文发表经历，或优秀开源项目贡献经历
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与大模型推理这一AI最核心、最活跃的技术领域的底层研发
- 业务价值高：优化结果直接作用于小红书多个核心业务的AI能力，影响力可见
- 技术栈深入：有机会接触从CUDA Kernel、算子优化到分布式系统的全栈技术
- 平台支撑：背靠超大型企业，有资源在大规模生产环境中验证和迭代技术
- 工程化难度大：将前沿研究转化为稳定、可观测、可维护的生产系统需要强大的工程能力
- 适合对系统性能优化、计算机体系结构有浓厚兴趣，乐于深入底层解决“卡脖子”问题，且具备强大工程实现能力的资深工程师
- 期望在AI基础设施领域长期深耕，并愿意承担复杂系统设计责任的候选人
缺点 / 挑战
- 技术挑战极高：需要同时兼顾性能、成本、稳定性、精度等多个相互制约的指标，问题复杂度深
- 工作节奏可能较快：作为赋能业务的中台团队，需快速响应各业务线的需求，迭代压力可能较大
角色解读
- 技术专家路径：在推理系统、模型压缩或异构计算某一方向成为业界权威，影响开源社区与行业标准
- 架构师路径：负责设计下一代AI推理平台的整体架构，成为技术方案决策者
- 技术管理路径：带领大模型基础设施团队，负责技术规划与人才培养
- 设计和研发用于部署大语言模型、多模态模型等的高性能推理框架
- 深入优化推理链路，解决从底层算子、通信到上层调度的多维度性能瓶颈
- 将前沿的模型压缩算法工程化，用于降低线上服务的计算和显存成本
- 负责将推理引擎适配至国产异构芯片，推动技术栈多元化
- 精通C++/Rust或Python，并拥有大型工程项目的开发与优化经验
- 深入理解大模型推理（如vLLM、TensorRT-LLM）的原理与实现，包括Attention优化、内存管理等
- 具备系统性能调优能力，能使用Profiling工具分析并解决GPU/CPU上的复杂瓶颈
- 了解模型量化、剪枝等压缩技术，并有将其落地于生产环境的经验
申请策略
- 仔细阅读团队技术博客（如RedAccel、RedServing相关），了解其技术选型和设计理念，面试中可展示深度关注
- 准备一个关于性能优化或系统稳定性问题的完整案例，清晰地阐述问题定位、分析过程、解决方案和最终收益
- 明确表达你对AI Infra方向的热情，以及希望解决的具体技术问题或方向，展现技术自驱力
- 突出在推理引擎、性能优化或模型压缩方面的具体项目经验和量化成果（如吞吐提升、延迟降低百分比）
- 列举对开源推理框架（vLLM等）的贡献，或独立实现的优化工作（如特定算子优化）
- 强调处理大规模系统稳定性、高并发问题的经验，以及在异构芯片上的适配经历
- 展示扎实的C++/Rust编程功底，以及对CUDA、NCCL等底层库的理解
- 深入研读vLLM、TensorRT-LLM等主流框架源码，关注其核心优化（如PagedAttention、Continuous Batching）的实现细节
面试指南
- 对于项目类问题，使用STAR法则（Situation, Task, Action, Result）结构化回答，重点突出你的技术决策和量化结果
- 对于原理类问题，先阐述核心概念，再结合实际场景（如LLM推理中的KV Cache管理）说明其重要性和优化空间
- 对于设计类问题，先明确目标（性能、成本、易用性等），然后从系统分层（算子层、调度层、服务层）的角度展开，考虑扩展性和可维护性
- 请介绍你过去做过的一个最有挑战性的推理性能优化项目，你是如何定位瓶颈并解决的？
- 请解释一下PagedAttention的工作原理，以及它对LLM推理性能和内存管理的意义
- 如何评估一个大模型（如LLaMA）量化前后的精度损失？有哪些常用的评估指标和方法？
- 如果要你设计一个支持异构芯片（如GPU和昇腾）的统一推理服务框架，你会考虑哪些关键模块和接口？
- 在模型压缩（如剪枝）后，如何确保其在线上服务中的推理延迟和吞吐达到预期？
职位点评
薪资福利75
成长发展90
工作生活40
使命价值85
薪资福利
75中等
JD未明确薪资与福利，但基于岗位级别、城市市场及公司规模，预期薪酬具有市场竞争力。稳定性方面，C轮及以后融资阶段的超大型企业通常提供较好的保障。
薪资信号未披露（AI估算：40K-60K/月）
成长发展
90较高
该职位处于AI技术链路的核心基础设施层，技术深度与前沿性极强，能提供系统级优化和大规模工程落地的宝贵经验，成长空间明确。
技术前沿前沿/新兴技术
技术栈vLLM、TensorRT-LLM、CUDA、KV Cache、模型量化、分布式推理、异构计算
业务类型cost_center
工作生活
40较低
JD未提及任何工作模式（如远程、弹性），通常此类深度技术岗要求现场办公。JD中“业务协同”等职责暗示需要紧密配合，可能工作强度较高，WLB信号不足。
工作模式未明确
办公地点未明确
加班情况JD含高强度暗示词
使命价值
85较高
AI大模型是当前科技领域的核心增长引擎，该岗位直接参与打造支撑公司未来的技术底座，具有高创新性和行业影响力。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
Watch Jobs