字节跳动
AI异构硬件推理优化专家-Seed
AI异构硬件推理优化专家-Seed
发布于 2 天前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
学历未注明
研究与开发 (研发)
CUDA
SGLang
LLM推理
vLLM
分布式推理
Pagedattention
Ai加速卡
高性能算子
AI 估算 · 40k–70k
大厂核心AI团队，技术难度高，市场稀缺，薪资具有较强竞争力，参考上海专家岗水平。
职位详情
关于这个职位
该职位是字节跳动Seed团队的核心技术岗位，专注于自研LLM模型的推理优化
你将参与超大规模AI加速卡集群的部署与调优，优化分布式推理框架和高性能算子，支撑豆包和火山引擎的在线业务
适合对AI推理性能极致追求、熟悉底层硬件和系统优化的技术人才
最低要求
计算机、软件工程、人工智能、电子信息、微电子等相关专业优先
熟悉Linux环境下的C/C++或Python，具备扎实的编程能力和工程习惯
熟悉计算机体系结构、芯片微架构、高性能计算、分布式系统、并行计算中的至少一个方向
了解大模型推理基本流程，对Serving、调度、并发、显存管理、KV Cache或分布式推理有兴趣
关注延迟、吞吐、带宽、算力利用率、显存占用、网络通信和在线稳定性等性能问题
工作职责
面向超大规模AI加速卡集群，负责豆包Seed自研LLM模型的推理业务落地，深度参与分布式推理框架优化、高性能算子开发与在线稳定性建设，支撑豆包和火山引擎的大规模在线业务流量
业务Serving上线：参与豆包Seed自研LLM模型在超大规模AI加速卡集群上的部署、适配、性能调优和稳定性建设
推理框架优化：优化调度、Batching、KV Cache、显存管理、分布式并行、负载均衡、投机推理、稀疏计算和量化等核心链路
高性能算子与通信优化：面向不同异构硬件ISA开发和优化Attention、GEMM、量化、通算融合等关键LLM算子
优先资格
有AI芯片性能优化经验，热衷于探索不同芯片或集群的性能边界
熟悉常见的推理Serving技术栈，包括vLLM、SGLang、PagedAttention、投机推理等
有CUDA、AscendC、TileLang、Triton、CUTLASS、TVM、MLIR、TorchInductor等相关经验
具备以下经验：高性能算子开发、网络通信优化、推理引擎优化、在线服务性能优化或硬件适配
有OI/ACM、HPC竞赛、系统竞赛、科研项目或开源项目经历
AI 洞察
优缺点分析
优点
- 前沿技术栈（vLLM、SGLang、CUDA等），持续学习最新推理优化技术
- 字节跳动大平台，资源充足，薪资和福利具有竞争力
- 技术难度高，需要深入理解硬件架构和系统优化，学习曲线陡峭
- 快速迭代的AI领域要求持续跟进最新技术，保持学习节奏
- 适合对AI推理性能有极致追求、热爱底层系统优化和硬件编程的技术极客，尤其适合有高性能计算或AI芯片经验的人才
缺点 / 挑战
- 核心业务岗位，参与亿级用户规模的AI产品落地，技术挑战大、成就感强
- 在线业务对稳定性和性能要求极高，可能面临较大的工作压力
角色解读
- 技术深度发展：成为LLM推理优化领域专家，主导下一代推理框架设计
- 横向扩展：涉及多模态、AI for Science等前沿方向，拓宽技术视野
- 管理路线：带领团队负责大规模在线推理系统的建设与迭代
- 负责自研LLM模型在超大规模AI加速卡集群上的部署、适配和性能调优
- 优化分布式推理框架的核心链路，包括调度、Batching、KV Cache、显存管理和投机推理等
- 开发高性能算子及通信优化，针对不同异构硬件ISA进行Attention、GEMM等关键算子的优化
- 扎实的C++/Python编程能力，熟悉Linux环境
- 深入理解计算机体系结构、高性能计算或分布式系统
- 了解大模型推理流程，对Serving、显存管理、KV Cache等有浓厚兴趣
- 具备AI芯片或推理引擎优化经验者更有优势
申请策略
- 在简历中量化你的优化成果（如延迟降低XX%、吞吐提升XX%）
- 表达对AI推理技术革新的热情，展示你对LLM技术趋势的理解
- 突出高性能计算、分布式系统或AI芯片相关的项目经验
- 详细描述LLM推理优化相关的贡献，如算子开发、Serving框架调优等
- 如果有竞赛或开源项目（如vLLM、CUTLASS）经验，务必强调
- 深入掌握CUDA编程和GPU架构，熟悉Triton、CUTLASS等工具
- 学习主流推理框架vLLM、SGLang的源码，理解其核心设计
- 补充分布式系统和网络通信优化知识（如RDMA、NVLink）
面试指南
- 从问题定义出发，分析性能瓶颈（计算、访存、通信），结合具体场景提出优化方案
- 使用STAR法则（情境-任务-行动-结果）结构化描述过往项目经验
- 对于系统设计问题，先阐述核心原理，再给出多个方案的权衡
- 请解释LLM推理中的KV Cache机制，如何优化其显存占用？
- 如何设计一个高效的Batching策略来平衡延迟和吞吐？
- 针对不同AI芯片（如NVIDIA、华为昇腾），算子优化有哪些通用原则？
- 描述一次你优化系统性能的案例，使用了哪些工具和方法？
- 分布式推理中如何解决负载均衡和通信瓶颈？
匹配度报告
75
综合匹配度
大厂核心AI推理优化岗，前沿技术栈，高薪资高压力，适合技术追求者。
适合人群
最适合追求技术成长和前沿领域的求职者，若能接受较高工作强度，薪资和发展回报丰厚。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利匹配
85较高
大厂核心团队，薪资水平在行业前列，福利完善，但JD未明确具体薪资和福利细节。
薪资信号偏高 (40K-70K/月)
成长发展匹配
95较高
岗位涉及最前沿的AI推理优化技术，使用最新框架和硬件，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM推理、分布式推理、高性能算子、CUDA、vLLM、SGLang、PagedAttention
业务类型profit_center
工作生活匹配
40较低
仅现场办公，上海核心地段，JD未提及弹性工作，推测工作强度较大。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
80较高
AI大模型是高速增长赛道，岗位直接推动智能技术落地，社会价值较高。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs