小红书
大模型高性能推理研发工程师/专家
大模型高性能推理研发工程师/专家
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Nccl
Pd分离
Sglang
Tensorrt-Llm
Vllm
大模型Infra
推理优化
量化压缩
值不值得投
78综合评分
综合评分 78
大模型推理Infra专家岗，技术前沿、挑战密集、成长性强，但WLB与补偿信息不明。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1430 个在招 · 其中机器学习工程 28 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 470 个在招
职位详情
关于这个职位
这是小红书中台大模型Infra团队的高性能推理研发岗位
你将负责参与和主导大语言模型（LLM）等模型的推理框架开发、性能优化、模型压缩、系统稳定性建设及国产异构芯片适配等工作，旨在打造领先易用的AI大模型全链路基础设施，直接赋能社区、商业、交易等多个核心业务
最低要求
具备扎实的代码能力、数据结构和基础算法功底，熟悉 Rust / C++ / Python 中至少一门语言，具备良好的工程实现能力和代码质量意识
熟悉大模型推理、模型压缩、深度学习框架中的至少一个方向，并具备源码阅读、修改、性能优化或工程落地经验
熟悉至少一种主流推理或深度学习框架，如 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix、PyTorch、ONNX、TensorRT 等
理解大模型推理核心链路，对 KV Cache 管理、PagedAttention、Chunked Prefill、Continuous Batch ing、PD 分离、请求调度、推理服务稳定性等技术有经验或深入认知
理解模型压缩常用方法，对量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术有经验或深入认知
能围绕延迟、吞吐、并发、显存、通信、精度、成本、业务效果等指标进行系统分析，在推理性能、压缩效果和业务收益之间做合理权衡
具备较强的问题定位和系统优化能力，能够借助 Profiling、日志、监控和实验分析等手段定位复杂系统瓶颈，并推动问题闭环
具备良好的学习能力、沟通协作能力和自驱力，能与算法、MaaS、平台、业务团队协同推进技术落地
工作职责
推理框架研发：参与 rLLM 推理框架研发，支撑 LLM、MLLM、DiT 等模型的高性能在线推理
分布式推理能力建设：参与 KV Router、PD 分离 / EPD 分离、KV Cache 管理、Prefix Cache 复用、动态请求调度等核心能力建设
推理性能优化：围绕 TTFT、TPOT、吞吐、并发能力、GPU 利用率等指标，持续优化推理框架性能和资源效率
模型压缩算法落地：探索并落地大语言模型和多模态模型的低比特量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术，在保证业务效果的前提下降低推理成本
压缩评估与部署闭环：建设模型压缩评估与部署闭环，平衡精度、延迟、吞吐、显存、成本与业务效果，将压缩算法转化为稳定、可复用、可规模化的生产能力
系统可靠性建设：构建推理框架的系统容错能力，包括请求迁移、优雅退出、故障检测、自愈恢复、灰度发布等能力
异构芯片推理适配：负责推理引擎在国产异构计算芯片（昇腾 / PPU 等）上的适配与深度优化，完成模型迁移、算子开发、Profiling、Kernel 调优、并行策略与服务架构调优，推动国产算力在推理场景的规模化使用
多模型与多硬件适配：支撑 LLM、MLLM、Embedding、Rerank、DiT 等多类型模型在 Nvidia GPU、国产 NPU / PPU 等多种硬件上的推理、压缩和部署落地
业务协同：与算法、MaaS、平台和业务团队深度协作，为重点业务进行算法与系统联合优化，支撑业务推理成本下降和性能提升
优先资格
参与过 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等主流推理框架的代码贡献或核心模块开发
熟悉 CUDA Kernel、Attention / GEMM 算子优化、FlashAttention、PagedAttention 等底层优化技术
熟悉 NCCL、RDMA、IB、RoCE 等高性能通信机制，有多机多卡推理优化经验
有 SmoothQuant、AWQ、GPTQ、KV Cache 压缩、投机解码等算法的工程落地经验
有大规模线上推理服务稳定性建设经验，解决过高并发、故障迁移、弹性扩缩容、SLO 保障等生产问题
熟悉多模态模型或 DiT 类模型推理链路，有相关部署、压缩和优化经验优先
有国产异构芯片（昇腾 Ascend、平头哥 PPU）推理适配或 Kernel 开发经验，熟悉 CANN / ROCm 等基础软件栈，有大模型在国产芯片上生产级替换或规模化部署经验者优先
深入理解 GPU / NPU 硬件架构及性能瓶颈（Tensor Core、内存层级、计算单元、通信拓扑），能结合硬件特性设计差异化推理或压缩优化方案
有推理或压缩方向论文发表经历，或优秀开源项目贡献经历
AI 洞察
优缺点分析
优点
- 业务价值直接：你的工作成果（如推理成本下降、性能提升）会直接赋能公司的核心商业业务，成就感强
- 团队技术积淀深：团队在“训-推-压-评”全链路已有深厚积累，产品（RedServing等）成熟，学习成长环境好
- 平台规模大：依托超大型企业的资源和业务场景，有机会处理真实世界的大规模、高并发问题
- 技术复杂度高：需要同时精通系统工程、算法理论和硬件架构，知识栈要求全面且深入
- 适合对AI系统底层优化有强烈兴趣，兼具扎实软件工程功底与算法理解力，追求技术深度与业务影响力，并乐于解决复杂、跨领域技术难题的资深工程师
缺点 / 挑战
- 技术深度与前沿性：直接参与大模型落地的核心基础设施研发，接触LLM推理、压缩、异构计算等最前沿的技术挑战
- 跨团队协作要求高：需要与算法、业务、平台等多个团队紧密协同，对沟通和推动能力有较高要求
- 国产生态适配存在不确定性：异构芯片适配可能面临技术栈不成熟、生态工具链不完善等挑战
角色解读
- 在技术深度上，可成长为AI系统与推理优化领域的专家，主导核心技术模块的设计与攻坚
- 在技术广度上，可拓展至多模态模型优化、异构计算架构设计或全栈AI平台建设，成为技术架构师
- 在影响力上，可带领小型技术团队，负责某一方向的整体规划与技术落地，成为技术负责人或Tech Lead
- 负责大模型推理框架的底层研发与性能调优，确保LLM等模型能够高效、稳定地运行在推理服务中
- 深入研究和实践模型压缩技术（如量化、蒸馏），在保证模型效果的前提下，大幅降低推理成本与资源消耗
- 构建覆盖“评估-压缩-部署”的全流程闭环，并处理线上大规模推理服务的稳定性、弹性与容错问题
- 推动异构计算生态建设，特别是针对国产AI芯片进行深度适配与优化，确保技术栈的兼容性与领先性
- 精通至少一门系统级编程语言（Rust/C++/Python），并具备优秀的代码质量与工程实现能力
- 深入理解大模型推理核心原理（如KV Cache、PagedAttention、Continuous Batching）及主流框架（vLLM等）的源码
- 掌握模型压缩的核心算法（量化、剪枝、投机解码等），并有将其转化为生产级服务的工程经验
- 具备强大的系统问题定位与性能分析能力，能通过Profiling等手段解决复杂的技术瓶颈
申请策略
- 在简历和面试中，准备1-2个你主导或深度参与的、最具技术深度的优化案例，能够清晰阐述问题、思路、方案和结果
- 面试前，研究小红书AI Infra团队的技术博客或开源项目（如果有），了解他们公开的技术方向，展示你的热情和准备
- 此岗位看重“自驱力”和“协同”，可以主动举例说明你如何自主学习新技术，并推动跨团队项目落地的经历
- 重点突出在模型推理加速、性能优化或模型压缩方面的具体项目成果，用量化指标（如吞吐提升X%、成本降低Y%）来证明能力
- 详细描述对至少一种主流推理框架（如vLLM）的深入理解和贡献，包括源码修改、性能调优的具体案例
- 强调处理过高并发、稳定性、弹性伸缩等生产环境问题的经验，体现系统工程能力
- 如有开源贡献（尤其是推理框架相关）或技术博客、论文，请务必列出，这是强大的加分项
- 系统性复习CUDA/NCCL编程、GPU内存架构与通信机制，这是性能优化的基础
面试指南
- 使用STAR法则结构化回答：背景(Situation)、任务(Task)、行动(Action)、结果(Result)，尤其突出Action中的技术细节和量化结果
- 对于系统设计题，采用分层思路：先明确核心目标（如低延迟/高吞吐/低成本），再从系统架构、核心组件、容错机制等方面展开，并解释技术选型的理由
- 对于理论概念题，先给出清晰定义，然后结合实际场景（如推理服务）说明其作用、优势以及可能的局限性
- 请详细介绍一个你优化过的大模型推理服务性能案例，你是如何定位瓶颈并最终解决的？
- 你如何理解Continuous Batching和PagedAttention？它们在现代LLM推理系统中分别解决什么问题？
- 如果让你设计一个支持多模型、多硬件的在线推理服务，你会考虑哪些核心模块和关键挑战？
- 在你看来，大模型推理性能优化中，算法优化（如投机解码）和系统优化（如调度器）哪个更重要？为什么？
- 介绍一个你参与或了解的模型量化（如AWQ/GPTQ）工程落地项目，精度与速度是如何权衡的？
职位点评
薪资福利75
成长发展95
工作生活60
使命价值80
薪资福利
75中等
作为大型互联网公司的核心技术岗位，薪酬福利体系应较为完善，对稳定性和福利的满足程度较好，但JD未披露具体薪资信息。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
95较高
岗位直接投身于大模型推理这一AI最前沿且核心的领域，技术挑战深、成长空间大，能获得宝贵的系统级优化与工程落地经验。
技术前沿前沿/新兴技术
技术栈大模型推理、vLLM、SGLang、TensorRT-LLM、模型压缩、量化、CUDA、PD分离、KV Cache、异构计算
业务类型profit_center
工作生活
60中等
JD未明确工作模式（远程、混合或现场），加班情况未知。考虑到技术深度和系统保障要求，实际工作强度可能不低，但缺乏明确信息。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
大模型技术是当前科技革命的核心驱动力之一，从事其基础设施研发具有较高的技术价值和行业影响力，但JD未强调社会使命或价值观导向。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
Watch Jobs