字节跳动
AI Infra工程师-Commercial AI
AI Infra工程师-Commercial AI
发布于 大约 14 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
GPU
PyTorch
TensorFlow
LLM
CUDA
分布式训练
AIGC
推理优化
TensorRT-LLM
AI 估算 · 30k–60k
AI Infra核心岗位，技术门槛高，字节跳动力争领先，薪资高于市场平均水平
职位详情
关于这个职位
该职位负责字节跳动AI基础设施的研发，专注于大规模LLM/VLM/AIGC模型的分布式训练与推理优化
你将深入GPU底层进行性能调优，设计高性能推理引擎，并跟进前沿技术如FlashAttention和量化
适合对AI系统性能极致追求、有扎实C++/Python和深度学习框架经验的工程师
最低要求
本科及以上学历，计算机相关专业优先，熟练掌握C++/Python，精通数据结构与算法，并有并发编程基础
熟练使用PyTorch/TensorFlow或其他深度学习框架，熟练掌握深度学习性能加速技术包括但不限于计算图优化，算子性能优化，通信优化等
具有AIGC（VLM、Diffusion）模型训练/推理优化经验，熟悉TensorRT-LLM、vLLM、LightX2V等推理效率优化工具
积极主动有热情，具备较强的沟通能力以及优秀的团队协作能力
工作职责
负责LLM/VLM/AIGC大规模分布式训练与推理基础设施的研发，深度优化计算、通信与存储性能，保障（多至）千卡任务集群的高效运行
针对NVIDIA GPU（CUDA/Triton）、NPU进行深度性能调优，包括算子融合、显存管理优化、通信算子重叠（Overlap）等，将硬件算力发挥到极致
设计并实现高性能LLM/VLM/AIGC模型推理引擎，优化计算图编译、动态Batching及KV Cache管理，打造极致低延迟与高吞吐的线上服务架构
技术演进与落地：持续跟进业界最新的Infra技术（如FlashAttention演进、高效通信库、FP8/INT8量化、稀疏蒸馏等训练部署方案），配合实际业务驱动技术预研并转化为生产力
AI 洞察
优缺点分析
- 接触前沿的LLM/AIGC基础设施技术，积累大规模分布式系统和GPU优化的宝贵经验
- 字节跳动作为头部互联网公司，提供广阔的平台和海量数据场景，技术挑战大
- 公司重视技术投入，能参与从研究到落地的完整闭环，职业竞争力提升快
- 技术门槛高，需要同时掌握深度学习框架、分布式系统和硬件优化，学习曲线陡峭
- 工作强度可能较大，需要应对大规模集群的稳定性和性能挑战
- AI领域技术迭代快，需要持续跟进最新论文和工具，保持学习状态
- 适合对系统性能极致追求、热爱底层优化、有较强自驱力和学习能力的工程师
角色解读
- 从AI Infra工程师成长为系统架构师，主导大规模分布式训练平台的设计
- 深入硬件和编译器领域，成为GPU/NPU性能优化专家
- 向技术管理方向发展，带领团队攻克AI基础设施难题
- 负责搭建和优化大规模LLM/VLM/AIGC模型的分布式训练与推理基础设施，确保千卡集群高效运行
- 深入NVIDIA GPU底层，通过算子融合、显存优化和通信重叠等技术将硬件性能发挥到极致
- 设计高性能推理引擎，优化计算图编译、动态Batching和KV Cache管理，实现低延迟高吞吐的线上服务
- 持续跟踪FlashAttention、量化等前沿技术，并将其落地到实际业务中
- 精通C++和Python，掌握数据结构、算法和并发编程，具备扎实的工程基础
- 熟练使用PyTorch或TensorFlow等深度学习框架，精通计算图优化、算子优化和通信优化等技术
- 有AIGC模型训练或推理优化经验，熟悉TensorRT-LLM、vLLM等推理引擎
- 熟悉NVIDIA GPU编程（CUDA/Triton），具备性能调优能力
申请策略
- 提前了解字节跳动AI Infra团队的技术博客或公开演讲，展现对业务的兴趣
- 在面试中准备系统设计题，例如如何设计一个大模型推理服务，注重权衡延迟、吞吐和成本
- 突出GPU性能优化项目经验，例如具体减少的延迟或提升的吞吐量数据
- 强调在分布式训练或推理引擎方面的实践，注明使用的框架和优化手段
- 展示对Open Source工具的贡献或理解，如PyTorch、TensorRT-LLM等
- 如果有AIGC模型（如LLM、Diffusion）的部署经验，务必突出
- 深入学习CUDA编程和Triton语言，可以尝试实现简单的自定义算子
- 了解FlashAttention、vLLM等最新推理优化技术的原理，并动手实验
面试指南
- 使用STAR法则（情境-任务-行动-结果）描述具体项目，重点突出优化前后的量化对比
- 对于设计类问题，先列出关键需求（延迟、吞吐、成本），再分模块（计算、通信、存储）给出方案，并讨论 trade-off
- 请描述一次你使用CUDA优化算子的经历，具体遇到了什么问题，如何解决的？
- 如何在大规模分布式训练中减少通信开销？请列举几种常用技术
- 设计一个高性能的LLM推理服务，你会如何考虑计算图优化、动态Batching和KV Cache管理？
- 解释FlashAttention的原理及其对Transformer推理加速的意义
- 如何诊断和解决多机多卡训练中的性能瓶颈？
- 复习分布式训练原理，包括数据并行、模型并行、流水线并行等模式
匹配度报告
72
综合匹配度
大厂核心AI Infra岗，前沿技术栈，高薪资高成长，但工作强度大、WLB一般。
适合人群
最适合追求技术成长和职业快速发展、对薪资有较高期望，且能接受高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展95
工作生活40
使命价值70
薪资福利匹配
85较高
该职位薪资估计处于市场高水平，字节跳动作为大厂福利完善，但JD未披露具体薪资和福利，综合判断补偿性动机满足度高。
薪资信号未披露 (30K-60K/月)
成长发展匹配
95较高
职位涉及LLM/AIGC、GPU性能调优等前沿技术，成长空间大，且有明确的商业化背景（Commercial AI），发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈LLM、VLM、AIGC、CUDA、Triton、PyTorch、TensorFlow、FlashAttention、FP8/INT8量化、分布式训练
业务类型profit_center
工作生活匹配
40较低
职位要求现场办公，未提及弹性工作或远程，且互联网大厂通常工作强度较大，生活化动机满足度较低。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值匹配
70中等
AI基础设施对社会有间接贡献，但本身不直接解决社会问题，行业增长迅速，技术创新积极，意义感动机中等偏上。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs