小红书
【2027校招】大模型 Infra 工程师
【2027校招】大模型 Infra 工程师
发布于 大约 13 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Deepspeed
Kv Cache
Pytorch
Vllm
分布式训练
大模型推理
模型压缩
值不值得投
81综合评分
综合评分 81
前沿AI Infra校招岗，技术深度与挑战性极高，成长空间巨大，工作强度预期不低。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
28K
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1400 个在招 · 其中机器学习工程 16 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 350 个在招
职位详情
关于这个职位
这是小红书大模型基建部（RAI Studio）的校招岗位，专注于构建公司级AI大模型的全链路基础设施
你将参与训练、推理、模型压缩等框架的研发与优化，应对千卡级训练、高并发推理、异构芯片适配等真实业务中的大规模AI Infra挑战，目标是提升大模型生产与应用的效率、成本和稳定性
最低要求
具备扎实的代码能力、数据结构和基础算法功底，熟悉 Python / C++ / Rust 中至少一门语言，具备良好的工程实现能力和代码质量意识
在大模型训练、推理或模型压缩至少一个方向具备深入实践，能够阅读和修改框架源码，并有性能优化或生产级工程落地经验
熟悉至少一种主流训练、后训练或推理框架，如 PyTorch、Megatron、DeepSpeed、veRL、OpenRLHF、TRL、vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等，并具备使用或二次开发经验
理解分布式训练或推理的核心技术，包括并行策略、显存管理、跨机通信、KV Cache、请求调度、服务稳定性等
无需同时精通全部方向，但能够基于系统原理分析和解决复杂问题
具备性能分析和问题定位能力，能够借助 Nsight Systems / Compute、PyTorch Profiler、日志、监控和实验分析等手段定位计算、通信、显存或系统瓶颈，并推动问题闭环
能围绕吞吐、延迟、并发、稳定性、资源利用率、精度、成本和业务效果等指标进行系统分析，在技术效果与业务收益之间做出合理权衡
具备良好的学习能力、沟通协作能力、自驱力和问题闭环意识，能够与算法、平台及业务团队协同推进技术落地
工作职责
训练与推理框架研发：参与 Relax RL 后训练框架和 rLLM 推理框架的核心研发，支撑 LLM、MLLM、Agent、DiT 等模型的高效训练与高性能在线推理
可根据个人专长重点负责训练、推理或模型压缩方向
RL Pipeline 与分布式训练优化：支持 SFT、DPO、PPO、GRPO、RLVR 等主流后训练范式，优化 Rollout、Reward Model、Actor、Reference Model 等模块间的资源调度与动态协同，并结合 TP / PP / DP / ZeRO / Sequence Parallel 等并行策略提升端到端训练吞吐
分布式推理与服务架构建设：建设 KV Router、PD 分离 / EPD 分离、KV Cache 管理、Prefix Cache 复用、Continuous Batching、动态请求调度等核心能力，持续提升 TTFT、TPOT、吞吐、并发能力和 GPU 利用率
模型压缩与加速算法探索：探索并落地低比特量化、蒸馏、剪枝、投机解码、KV Cache 压缩、CoT 压缩等技术，建设从效果评估到部署的完整闭环，在精度、延迟、吞吐、显存、成本和业务效果之间取得合理平衡
大规模系统稳定性建设：攻克千卡训练和高并发推理中的显存管理、跨节点通信、弹性容错、任务调度、请求迁移、故障检测、自愈恢复、灰度发布等挑战，提升训练成功率、推理 SLO 和集群资源利用率
异构芯片与多模型适配：负责训练及推理框架在 Nvidia GPU、国产 NPU / PPU 等硬件上的适配与深度优化，完成模型迁移、算子支持、Profiling、Kernel 调优、并行策略及服务架构优化，推动国产算力规模化使用
大模型生产工具链建设：打通训练、压缩、推理框架与训练部署及MaaS服务平台，建设可视化、自动调优、评估、故障诊断和部署等生产级能力，降低算法与业务团队的使用门槛
业务协同与技术探索：与算法和业务团队深度协作，支撑重点业务的算法探索与工程落地，通过算法与系统联合优化持续提升性能、稳定性和成本效率
优先资格
在大模型训练、推理、模型压缩、分布式系统或 MLSys 方向有高水平论文发表或优秀开源项目经历
有千卡级大模型训练、后训练或大规模线上推理实战经验，解决过跨节点通信、显存优化、容错训练、高并发、故障迁移、弹性扩缩容或 SLO 保障等生产问题
参与过 Megatron、DeepSpeed、veRL、OpenRLHF、vLLM、SGLang、TensorRT-LLM、Nvidia Dynamo、AIBrix 等开源项目的核心模块开发或贡献
有 CUDA Kernel、Fused Operator、Attention / GEMM、FlashAttention、PagedAttention 或通信计算重叠等底层优化经验
有量化、蒸馏、剪枝、SmoothQuant、AWQ、GPTQ、KV Cache 压缩或投机解码等技术的工程落地经验
有国产异构芯片（昇腾 Ascend、平头哥 PPU 等）训练或推理适配、Kernel 开发及规模化落地经验，熟悉 CANN / ROCm 等基础软件栈
深入理解 GPU / NPU 硬件架构及性能瓶颈，能够结合 Tensor Core、内存层级、计算单元和通信拓扑进行差异化优化方案设计
AI 洞察
优缺点分析
优点
- 负责的是公司级AI核心基础设施，工作成果直接影响众多核心业务，影响力大，技术价值可见
- 团队参与开源项目（如Relax RL），有良好的技术分享和对外影响力建设氛围
- 作为校招岗位进入，能接受系统性培养，快速接触和掌握顶级工业界的最佳实践
- 技术栈复杂且要求深，涉及分布式系统、算法、硬件多个领域，学习曲线陡峭，需要持续高强度学习
- 大模型领域技术迭代速度极快，需要保持对前沿技术的持续关注和跟进，以维持技术竞争力
缺点 / 挑战
- 技术挑战前沿且深入，直接面对工业界最大规模的大模型训练和推理问题，技术成长天花板高
- 需要处理真实业务的生产级系统问题，对系统的稳定性、性能要求极高，工作压力与责任感并重
- 适合对分布式系统和大模型底层原理有浓厚兴趣，具备较强工程实践能力，乐于挑战大规模、高难度技术问题，并希望深入产业界推动AI技术落地的应届毕业生
角色解读
- 技术专家路线：在分布式系统、模型优化或特定硬件架构方向深耕，成为AI Infra领域的技术专家
- 架构师路线：深入理解全链路技术，主导设计公司级的大模型基础设施平台与架构
- 技术管理路线：带领团队负责特定技术方向或平台的整体规划与落地，参与技术决策
- 负责大模型训练和推理框架的核心研发与性能优化，支撑公司各类AI模型的高效运行
- 解决千卡级分布式训练、高并发推理、异构芯片适配等真实业务场景中的大规模工程挑战
- 探索并落地模型压缩、量化、加速等前沿算法，构建从效果评估到生产部署的完整工具链
- 与算法团队紧密协作，通过系统与算法的联合优化，提升模型在业务中的性能与成本效率
- 扎实的编程功底（Python/C++/Rust）和分布式系统原理知识，能够理解并优化大规模计算任务
- 在大模型训练、推理或压缩任一方向有深入实践，熟悉至少一种主流AI框架（如PyTorch、DeepSpeed、vLLM）并具备二次开发经验
- 具备性能分析能力，能使用专业工具定位计算、通信、显存瓶颈，并主导问题解决
- 良好的系统思维和权衡能力，能在技术效果（如延迟、吞吐）与业务成本之间找到平衡点
申请策略
- 在简历和面试中，主动将你掌握的知识点与JD中描述的技术挑战（如RL Pipeline优化、异构芯片适配）进行关联
- 提前了解小红书AI相关业务（如社区内容理解、搜索推荐、内容生成）和其开源项目（如RELAX RL），展现你的兴趣和准备
- 重点突出与大模型训练/推理框架、分布式系统、性能优化相关的任何项目经历或研究成果
- 详细描述你解决过的一个具体技术难题（如通信优化、显存管理、内核调优），体现分析和解决问题的能力
- 展示对PyTorch、DeepSpeed、vLLM等框架的源码阅读或二次开发经验，即使是局部功能
- 如有相关的开源贡献、高水平技术博客或论文，务必清晰呈现
- 系统复习和实践PyTorch框架下的分布式数据并行、模型并行策略（DDP, FSDP, Pipeline Parallelism）
- 深入理解至少一种推理加速框架（如vLLM或TensorRT-LLM）的核心机制，如Continuous Batching，KV Cache管理
面试指南
- 采用STAR法则：清晰地描述项目背景(Situation)、你的任务(Task)、具体行动(Action)和最终结果(Result)，重点突出你的技术决策和贡献
- 结合系统原理回答：对于设计类问题，先阐述需要解决的核心问题，再分解出关键子模块，解释每个模块的技术选型和设计考量（如为什么选这个通信原语，如何平衡负载）
- 展现权衡思维：在回答优化问题时，主动说明你考虑了哪些相互制约的因素（如精度与速度、显存占用与吞吐），以及你的权衡依据
- 请介绍一个你参与过的最复杂的分布式训练或推理系统项目，遇到了哪些核心挑战，你是如何解决的？
- 如果让你设计一个支持SFT和PPO训练的混合资源调度器，你会考虑哪些关键模块和因素？
- 在推理服务中，当请求的并发量突增时，TTFT（首Token延迟）和TPOT（Token间延迟）会分别受到哪些系统因素影响？如何优化？
- 模型量化（如INT8）可能会带来哪些精度和性能方面的trade-off？在生产环境中部署时需要注意什么？
- 你对当前大模型训练或推理中的某个技术瓶颈（如跨节点通信效率、长上下文KV Cache显存占用）有什么思考或改进建议？
职位点评
薪资福利80
成长发展95
工作生活55
使命价值85
薪资福利
80较高
作为大型科技公司的核心校招技术岗，薪资福利体系预计较为完善，具有市场竞争力。
薪资信号未披露（AI估算：20K-35K/月）
成长发展
95较高
该岗位直接处于AI技术最前沿，解决的是大规模、高难度的工程挑战，能提供极佳的深度技术成长空间和行业影响力构建机会。
技术前沿前沿/新兴技术
技术栈大模型训练、推理优化、模型压缩、分布式系统、CUDA、PyTorch、vLLM、DeepSpeed、KV Cache
成长机会成长...AI Infra 工程师、持续提升个人行业影响力
业务类型profit_center
工作生活
55较低
JD未明确提及办公模式，但作为大型科技公司的核心研发岗，通常需要现场办公。工作涉及大规模系统优化和生产问题解决，技术挑战大，可能伴随一定工作强度。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
85较高
岗位致力于构建支撑公司核心业务的AI基础设施，能将技术直接转化为产品能力，具有明确的业务价值和一定的社会影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号持续支撑社区、大商业、国际化、审核、企业智能等小红书核心业务的大模型落地
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
Watch Jobs