小红书
【2027校招】大模型推理加速研发工程师
【2027校招】大模型推理加速研发工程师
发布于 大约 8 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Flashattention
Pagedattention
Pytorch
Sglang
Tensorrt-Llm
Vllm
分布式推理
模型量化
值不值得投
84综合评分
综合评分 84
前沿AI基础设施核心岗，技术成长性极强，对个人技术深度和工程能力要求高，工作强度有保障。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
40K
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1360 个在招 · 其中人工智能 8 个
市场机会
选择面较广
北京 · 人工智能 · 约 370 个在招
职位详情
关于这个职位
这是一位面向大模型在线推理场景的研发工程师岗位，核心工作是参与公司自研的高性能推理框架（rLLM）的开发与优化
你将负责大语言模型、多模态模型等在不同硬件（如NVIDIA GPU及国产昇腾/PPU芯片）上的推理性能提升、模型压缩技术落地，并致力于构建稳定、可扩展的推理服务系统，以支撑业务在成本与性能上的双重目标
最低要求
具备扎实的代码能力、数据结构和基础算法功底，熟悉 Python / Rust / C++ 中至少一门语言，具备良好的工程实现能力和代码质量意识
熟悉大模型推理、模型压缩、深度学习框架中的至少一个方向，并具备源码阅读、修改、性能优化或工程落地经验
熟悉至少一种主流推理或深度学习框架，如 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix、PyTorch、ONNX、TensorRT 等
理解大模型推理核心链路，对 KV Cache 管理、PagedAttention、Chunked Prefill、Continuous Batching、PD 分离、请求调度、推理服务稳定性等技术有经验或深入认知
理解模型压缩常用方法，对量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术有经验或深入认知
能围绕延迟、吞吐、并发、显存、通信、精度、成本、业务效果等指标进行系统分析，在推理性能、压缩效果和业务收益之间做合理权衡
具备较强的问题定位和系统优化能力，能够借助 Profiling、日志、监控和实验分析等手段定位复杂系统瓶颈，并推动问题闭环
具备良好的学习能力、沟通协作能力和自驱力，能与算法、MaaS、平台、业务团队协同推进技术落地
工作职责
推理框架研发：参与 rLLM 推理框架研发，支撑 LLM、MLLM、DiT、Omni 等场域模型的高性能在线推理
分布式推理能力建设：参与 KV Router、PD 分离 / EPD 分离、KV Cache 管理、Prefix Cache 复用、动态请求调度等核心能力建设
推理性能优化：围绕 TTFT、TPOT、吞吐、并发能力、GPU 利用率等指标，持续优化推理框架性能和资源效率
模型压缩算法落地：探索并落地大语言模型和多模态模型的低比特量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术，在保证业务效果的前提下降低推理成本
压缩评估与部署闭环：建设模型压缩评估与部署闭环，平衡精度、延迟、吞吐、显存、成本与业务效果，将压缩算法转化为稳定、可复用、可规模化的生产能力
系统可靠性建设：构建推理框架的系统容错能力，包括请求迁移、优雅退出、故障检测、自愈恢复、灰度发布等能力
异构芯片推理适配：负责推理引擎在国产异构计算芯片（昇腾 / PPU / 昆仑芯等）上的适配与深度优化，完成模型迁移、算子开发、Profiling、Kernel 调优、并行策略与服务架构调优，推动国产算力在推理场景的规模化使用
多模型与多硬件适配：支撑 LLM、MLLM、Embedding、Rerank、DiT 等多类型模型在 Nvidia GPU、国产 NPU / PPU / XPU 等多种硬件上的推理、压缩和部署落地
业务协同：与算法、MaaS、平台和业务团队深度协作，为重点业务进行算法与系统联合优化，支撑业务推理成本下降和性能提升
优先资格
参与过 vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等主流推理框架的代码贡献或核心模块开发
熟悉 CUDA Kernel、Attention / GEMM 算子优化、FlashAttention、PagedAttention 等底层优化技术
熟悉 NCCL、RDMA、IB、RoCE 等高性能通信机制，有多机多卡推理优化经验
有 SmoothQuant、AWQ、GPTQ、KV Cache 压缩、投机解码等算法的工程落地经验
有大规模线上推理服务稳定性建设经验，解决过高并发、故障迁移、弹性扩缩容、SLO 保障等生产问题
熟悉多模态模型或 DiT 类模型推理链路，有相关部署、压缩和优化经验优先
有国产异构芯片（昇腾 Ascend、平头哥 PPU）推理适配或 Kernel 开发经验，熟悉 CANN / ROCm 等基础软件栈，有大模型在国产芯片上生产级替换或规模化部署经验者优先
深入理解 GPU / NPU 硬件架构及性能瓶颈（Tensor Core、内存层级、计算单元、通信拓扑），能结合硬件特性设计差异化推理或压缩优化方案
有推理或压缩方向论文发表经历，或优秀开源项目贡献经历
AI 洞察
优缺点分析
优点
- 身处大模型落地的核心战场，能深度参与并直接影响公司核心AI能力的效率与成本，技术成长天花板高
- 拥有大规模、高并发的真实业务场景，技术方案能快速得到验证并产生实际业务价值
- 作为校招生加入，有机会接触公司级基础设施，获得系统性的技术培养和导师指导
- 技术栈更新极快，需要持续跟踪前沿论文和开源社区，保持快速学习和适应的能力
- 对AI系统性能优化有强烈好奇心，既喜欢钻研底层原理又热衷于工程实现落地的计算机系统方向优秀毕业生
- 具备扎实编程功底，并乐于在复杂系统问题上持续攻坚
缺点 / 挑战
- 技术挑战前沿且综合，涉及算法、系统、硬件多个层面，能快速积累稀缺的跨领域工程化经验
- 系统复杂性高，问题定位与优化需要跨团队协作和强大的系统工程思维，沟通成本较高
- 直接面对线上服务的性能与稳定性指标（如TTFT、TPOT），工作成果衡量标准明确，压力与挑战并存
角色解读
- 技术专家路线：深耕推理加速或模型压缩某一垂直领域，成为该领域的权威，攻克行业级技术难题
- 架构师路线：横向扩展，负责整个推理平台或异构计算集群的整体架构设计、技术选型与演进
- 技术管理路线：凭借技术影响力与协作能力，带领团队完成复杂技术目标，推动业务创新
- 设计和实现高性能的大模型在线推理框架，优化从请求调度到计算执行的全链路效率
- 研究和落地前沿的模型压缩技术（如量化、蒸馏、剪枝），在精度与效率间取得最佳平衡
- 解决多类型模型（LLM、多模态）在多硬件平台（GPU、国产NPU）上的适配、优化与规模化部署难题
- 保障大规模推理服务的稳定性、可靠性与高可用性，与上下游团队协同推动技术价值落地
- 扎实的系统编程能力（Python/Rust/C++）和算法基础，具备高质量工程实现经验
- 深入理解大模型推理原理（如KV Cache、PagedAttention、Continuous Batching）和性能瓶颈
- 掌握模型压缩与推理优化方法，能结合业务指标进行系统性分析与权衡
- 熟悉至少一种主流推理框架（如vLLM、TensorRT-LLM）并具备源码级理解或优化经验
申请策略
- 深入研究小红书的内容生态和AI技术博客，了解其在大模型、多模态、推荐系统等方面的应用，思考该岗位如何支撑这些业务
- 在面试中，除了展示技术深度，着重强调你的系统优化思维、问题解决流程以及与团队协作推动技术落地的能力
- 详细描述与大模型推理、模型压缩、性能优化相关的课程项目、实习或竞赛经历，突出所用技术栈和解决的具体性能指标问题
- 展示在高性能计算、分布式系统、或操作系统等系统类课程中的高分成绩或项目，证明系统级思维
- 如果参与过vLLM等推理框架或相关开源项目的贡献，务必清晰列出代码仓库、贡献内容和解决的问题
- 提供可运行的Demo或项目代码链接，直观展示工程实现能力和代码质量
- 系统学习并实践至少一种主流推理框架（如vLLM）的源码，尝试在其基础上进行小的性能优化或功能改进
- 深入理解PagedAttention、Continuous Batching等推理核心原理，并尝试用伪代码或简图进行阐述
面试指南
- 对于原理性问题，采用“定义/背景 -> 核心挑战 -> 技术方案 -> 权衡与优化”的结构进行回答，展示系统思考
- 对于项目经验问题，采用STAR法则（情境、任务、行动、结果），重点突出你在分析和解决问题过程中的具体行动和技术决策
- 对于开放性设计问题，先明确目标和约束（如精度、延迟、成本），然后列出几种可选技术方案，分析其优缺点，最后给出一个可行的设计思路
- 请描述你对大语言模型推理过程的理解，从请求输入到生成第一个Token（TTFT）主要经过哪些关键步骤？
- 如何设计一个高效的KV Cache管理策略？需要考虑哪些因素（如内存、计算、调度）？
- 在模型量化中，如何在降低精度以换取速度的同时，尽可能保持模型效果？
- 描述一个你解决过的复杂性能优化或系统问题，你是如何定位瓶颈并最终解决的？
- 如果让你适配一个新模型（如某个最新的MLLM）到一个新的硬件平台（如国产NPU），你会如何思考和规划？
职位点评
薪资福利85
成长发展95
工作生活65
使命价值80
薪资福利
85较高
作为知名互联网公司的校招技术岗，在薪资、福利和长期稳定性方面有较好保障，能满足应届生对职业起步阶段的基本预期。
薪资信号市场水准 (30K-50K/月)
成长发展
95较高
岗位涉及大模型推理、模型压缩、异构计算等多个前沿技术领域，且直接面对大规模生产系统的挑战，为个人技术深度和系统架构能力的成长提供了极佳平台。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、TensorRT-LLM、CUDA、PagedAttention、模型量化、蒸馏、投机解码、NCCL、RDMA、昇腾、CANN
业务类型profit_center
工作生活
65中等
工作地点位于一线城市核心办公区，交通便利。但岗位对技术深度和系统稳定性要求高，且涉及线上服务支撑，预计工作强度不低，工作与生活平衡需要个人做好管理。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
大模型技术是推动AI产业发展的核心引擎，本岗位工作直接提升AI能力的普惠性（降低成本、提升速度），并涉及国产算力适配，兼具行业前沿性与一定的技术自主探索意义。
行业发展高速增长赛道
社会影响中性/一般
使命信号推动国产算力在推理场景的规模化使用、支撑业务推理成本下降和性能提升
创新程度积极采用新技术
Watch Jobs