字节跳动
大模型推理引擎专家-Seed
大模型推理引擎专家-Seed
发布于 大约 2 个月前普通员工/个人贡献者
上海市
专家级经验
全职员工
仅现场办公
学历未注明
软件工程
推理引擎
机器学习系统
模型量化
编译器
GPU编程
PyTorch
TensorFlow
集群调度
AI 估算 · 40k–70k
大模型推理专家稀缺，字节跳动薪资竞争力强，上海一线城市，综合估算月薪4-7万。
职位详情
关于这个职位
该职位是字节跳动Seed团队的核心技术岗位，专注于大模型推理引擎的研发与优化
你将负责设计超大规模的机器学习推理系统，解决高并发、高可靠性等技术难题，并与算法团队深度合作，推动模型与系统的联合优化
适合对AI系统架构、GPU编程和模型优化有深入经验的专家
最低要求
熟练掌握Linux环境下的C/C++与Python语言，有机器学习系统或搜广推推荐系统相关经验
熟悉至少一种机器学习框架（TensorFlow/PyTorch/MXNet或其他自研框架）
有以下至少一项的背景知识与经验：GPU编程、编译器、模型量化、GPU集群调度
具有独立解决问题的能力，良好的团队合作精神，具备优秀的复杂问题拆解能力
有强烈的工作责任心，较好的学习能力、沟通能力和自驱力
有良好的工作文档习惯，及时按要求撰写更新工作流程及技术文档
工作职责
负责以自研推理引擎为中心的在线推理服务和近离线批式推理任务框架，设计开发超大规模机器学习系统架构，解决系统高并发、高可靠性、高可扩展性等技术难关，为搜索、推荐、审核等业务提供深度模型推理全场景端到端解决方案
针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案，技术方案不限于子图匹配、编译优化、模型量化、异构硬件等
面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率
与算法部门深度合作，进行算法与系统的联合优化
优先资格
有推荐/广告/搜索离在线推理系统架构经验
理解GPU硬件架构，理解GPU软件栈（CUDA，cuDNN），具备GPU性能分析的经验
AI 洞察
优缺点分析
优点
- 前沿技术栈：涉及大模型推理、GPU优化、分布式系统等热门领域
- 团队资源：Seed团队专注通用智能，算力资源充沛，能接触超大规模系统
- 技术复杂度高：需同时掌握系统、框架、硬件等多层次知识
- 高强度工作：大模型迭代快，可能面临紧耦合的业务需求和高压节奏
缺点 / 挑战
- 顶尖平台：字节跳动全球影响力，技术挑战大，成长空间广阔
- 适合热爱系统底层优化、对AI推理有浓厚兴趣、并愿意在高压力下快速成长的技术专家
角色解读
- 技术纵深发展：成为AI系统架构专家，主导下一代推理引擎的设计
- 横向拓展：转向算法与系统协同优化，或晋升为技术负责人管理团队
- 行业影响力：输出技术方案，推动行业大模型推理标准演进
- 设计并开发超大规模机器学习推理系统，支撑搜索、推荐等核心业务的高并发推理服务
- 针对模型进行性能优化，包括子图匹配、编译优化、量化等技术，提升推理速度和效率
- 管理全球多地域的GPU集群，通过弹性调度和任务编排优化算力利用率
- 精通C++和Python，具备扎实的系统编程能力
- 深入理解至少一种深度学习框架（如PyTorch或TensorFlow）
- 具备GPU编程或编译器相关经验，熟悉CUDA和cuDNN更佳
申请策略
- 面试前准备一个完整的推理系统优化案例，从问题到解决方案
- 了解字节在AI领域的最新布局，展现对Seed团队使命的认同
- 突出系统性能优化经验，例如大规模分布式推理系统的设计与成果
- 强调GPU编程或编译器相关项目，附带量化指标（如速度提升、资源节省）
- 展示与算法团队协作的案例，体现跨团队合作能力
- 深入学习CUDA编程和GPU架构，尝试撰写高性能kernel
- 掌握TVM、XLA等编译优化技术，提升模型优化能力
面试指南
- 使用STAR法则（情境-任务-行动-结果）回答行为问题
- 技术问题先阐述原理，再结合实际项目经验，最后总结优化效果
- 如何优化一个PyTorch模型的推理性能？请列举具体方法
- 描述一次你解决系统高并发问题的经历
- GPU共享与调度有哪些策略？如何避免资源竞争？
- 谈谈你对大模型推理引擎架构的理解
- 复习GPU架构与CUDA编程，准备一个性能调优的实战案例
- 了解常用推理框架（TensorRT、ONNX Runtime）的核心原理
职位点评
70
综合评分
稳定大厂、薪资偏高、前沿技术栈，WLB一般
更适合这类人
适合追求技术成长、愿意在AI前沿领域深耕的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展85
工作生活40
使命价值80
薪资福利
75中等
该职位薪资未明确说明，但字节跳动作为头部互联网公司，薪资福利水平较高，对补偿性动机满足程度较好。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
85较高
该岗位处于AI大模型前沿，技术栈先进，能接触到超大规模推理系统，对技能成长极有帮助。
技术前沿前沿/新兴技术
技术栈C++、Python、PyTorch、TensorFlow、GPU、CUDA、编译器、模型量化
业务类型ambiguous
工作生活
40较低
职位未明确工作模式，大厂研发岗位通常需要一定程度的加班，对生活化动机满足有限。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
团队致力于探索通用智能，使命陈述清晰，行业处于高速增长期，有较强社会意义。
行业发展高速增长赛道
社会影响中性/一般
使命信号为科技和社会发展作出贡献
创新程度开拓性创新（行业首创）
字节跳动 的其他在招职位
相似职位推荐
Watch Jobs