哔哩哔哩
【B-UP】模型开发工程师AI Infra（校招）
【B-UP】模型开发工程师AI Infra（校招）
发布于 大约 15 小时前普通员工/个人贡献者
上海市
无经验要求
全职员工
仅现场办公
本科
软件工程
GPU
PyTorch
CUDA
RDMA
NCCL
分布式训练
Megatron-LM
vLLM
推理加速
AI 估算 · 20k–30k
哔哩哔哩上市大厂，AI Infra岗位技术门槛高，上海校招薪资具备竞争力，参考行业标准估算。
职位详情
关于这个职位
该职位是哔哩哔哩AI基础设施团队的核心岗位，专注于大模型分布式训练与推理加速的底层技术研发
你将参与Megatron-LM、vLLM等主流框架的优化，解决千卡集群下的通信、算子、稳定性等关键问题，为B站多模态大模型提供高性能算力底座
适合对系统编程、GPU架构和高性能计算有浓厚兴趣的应届生
最低要求
技术底色： 计算机相关专业，具有较强的系统编程能力，精通 Python 和 C/C++
计算底层： 熟悉 NVIDIA GPU 架构 (Hopper/Ampere/Blackwall)，理解显存层次结构、流处理器（SM）工作原理
框架经验： 熟悉 PyTorch 等深度学习框架，具有训练或推理性能优化经验者优先
阅读过 Megatron、DeepSpeed、vLLM、TensorRT-LLM 等开源项目源码者优先
并行与分布式计算： 理解并行计算与分布式系统基本原理，了解数据并行（DP）、张量并行（TP）、流水线并行（PP）等常见大模型训练技术，有相关项目经验者优先
网络与硬件：了解 InfiniBand、RoCE 等高速网络技术，以及 NVLink、NVSwitch 等 AI 集群互联架构
工作职责
分布式训练底座 (Training Infra): 框架优化： 负责维护和优化基于 Megatron-LM, FSDP, VeRL的分布式训练框架，通过多维并行策略提高训练吞吐
算子优化： 参与多模态大模型训练核心算子的设计与优化，包括 Attention、MoE、算子融合等方向，持续提升模型训练效率和硬件利用率
通信优化： 深入优化 H/NCCL通信库，解决 RDMA/RoCE 网络下的通信瓶颈，提升多机多卡并行效率（DP/PP/TP/CP/EP）
稳定性保障： 构建自动容错与快速恢复系统（Checkpoint 优化、故障自动检测与接续），确保千卡集群在数月跨度的训练中保持极高可用性
推理加速与工程化 (Inference Infra): 高性能引擎： 负责基于 vLLM、TensorRT-LLM、SGLang、Triton Inference Server 等推理框架的开发与优化，提升大模型在线服务的吞吐、时延和资源利用率
算子优化： 参与 Transformer 核心算子的开发与性能优化，包括 Attention、KV Cache、量化推理、算子融合等方向，探索 CUDA/Triton 等高性能实现方案
推理架构： 参与构建面向大规模生产环境的推理服务体系，支持高并发、低延迟和高可用的模型服务部署与运维
存储与算力管理 (Storage & Compute): I/O 优化： 优化超大规模数据集的加载速度，解决训练过程中的存储带宽瓶颈（如利用 GPFS, Lustre 或 JuiceFS）
稳定性保障： 构建大规模集群故障检测、自动恢复与容灾体系，提升训练与推理服务的可靠性、高可用性及运维效率
资源调度： 构建面向训练与推理场景的 GPU 资源调度体系，支持多租户资源共享、弹性扩缩容、任务优先级管理及异构算力调度，提高集群整体效率
优先资格
具有训练或推理性能优化经验者优先
阅读过 Megatron、DeepSpeed、vLLM、TensorRT-LLM 等开源项目源码者优先
有相关项目经验者优先
AI 洞察
优缺点分析
优点
- 技术前沿：接触大模型分布式训练/推理的核心技术栈，紧跟AI基础设施发展浪潮
- 公司平台：哔哩哔哩作为大型互联网平台，有丰富的业务场景和算力资源，实践机会多
- 技能积累：深入掌握GPU、网络、存储等底层技术，市场稀缺度高，职业竞争力强
- 团队氛围：可能参与开源社区贡献，与业界顶尖工程师交流
- 技术深度高：需要对系统底层有深入理解，学习曲线陡峭
- 工作强度大：AI Infra常涉及线上问题排查和集群保障，可能需要响应紧急故障
- 竞争激烈：大模型领域发展快，需持续跟进新技术迭代
- 适合对计算机底层技术有强烈兴趣、喜欢折腾性能优化、愿意深入GPU和分布式系统的应届生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从AI Infra工程师起步，逐步成长为分布式系统或高性能计算领域的专家
- 可向算法框架方向深入，参与大模型核心算法的设计与实现
- 未来可晋升为技术负责人，主导AI基础设施架构演进
- 负责优化Megatron-LM、FSDP等分布式训练框架，通过多维并行策略提升大模型训练吞吐
- 参与vLLM、TensorRT-LLM等推理引擎的开发，优化Transformer算子和通信库，降低推理延迟
- 构建千卡集群的自动容错与恢复系统，保障训练任务长期稳定运行
- 优化存储I/O和GPU资源调度，提升集群整体利用率和运维效率
- 精通Python和C/C++，具备扎实的系统编程能力
- 熟悉NVIDIA GPU架构（Hopper/Ampere）及CUDA编程，能进行算子级优化
- 理解分布式并行策略（DP/TP/PP/EP）和高速网络技术（InfiniBand/RoCE）
- 熟悉PyTorch及至少一个分布式训练/推理框架（Megatron、vLLM等）
申请策略
- 在简历和面试中强调对底层原理的理解，而不仅仅是框架使用
- 关注B站技术博客或开源项目，了解团队技术方向，展现兴趣
- 突出系统编程项目：如高性能计算、并行计算相关课程设计或竞赛经历
- 展示开源贡献：如对Megatron、vLLM等框架的阅读笔记、PR或优化实验
- 强调GPU优化经验：如使用CUDA/Triton实现的算子优化，或PyTorch性能调优案例
- 提及分布式系统理解：如论文复现或小规模集群训练项目
- 学习NVIDIA GPU编程指南，动手实现一个简单的Attention算子
- 阅读Megatron-LM或vLLM源码，理解训练/推理流程
面试指南
- 对于框架原理问题，从基本概念入手，逐步展开并行策略的具体实现和优缺点
- 对于优化问题，遵循“问题-分析-方案-验证”的结构，突出系统性思考
- 对于编程问题，先说明关键参数和约束，再给出代码或伪代码逻辑
- 请解释Megatron-LM中的张量并行和流水线并行是如何实现的？
- 如何优化Transformer模型中的Attention计算？请给出具体思路
- 在多机多卡训练中，如何解决通信瓶颈？你了解哪些通信优化技术？
- 请描述一个你遇到的性能优化问题，以及你是如何定位和解决的
- 你对CUDA编程了解多少？请简述Grid、Block、Thread的层次结构
职位点评
71
综合评分
大厂AI Infra核心岗，前沿技术栈，成长空间巨大，但工作强度大且现场办公。
更适合这类人
适合追求技术成长、愿意投入时间深入底层系统、对薪资和WLB要求中等的应届生。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活50
使命价值75
薪资福利
70中等
薪资未公开，但哔哩哔哩大厂校招薪资有竞争力，AI Infra岗位技术门槛高，待遇通常优于普通开发岗。
薪资信号未披露（AI估算：20K-30K/月）
成长发展
90较高
岗位技术栈新锐且深入，涉及前沿AI基础设施，成长空间极大；公司提供丰富实践机会，可深度参与核心系统。
技术前沿前沿/新兴技术
技术栈Megatron-LM、FSDP、vLLM、TensorRT-LLM、CUDA、NCCL、RDMA
业务类型profit_center
工作生活
50较低
仅现场办公，上海通勤可能耗时；未提及弹性工时或WLB，大模型基础设施岗位可能涉及紧急故障处理，工作强度较大。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
AI大模型为高速增长赛道，岗位对技术创新有直接贡献，但B站业务并非纯科技向善，社会影响力中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs