美团
【LongCat大模型人才校招】基座大模型推理引擎工程师
【LongCat大模型人才校招】基座大模型推理引擎工程师
发布于 大约 16 小时前普通员工/个人贡献者
北京市
初级经验
全职员工
仅现场办公
学历未注明
软件工程
CUDA
SGLang
vLLM
MoE
Attention
Pd分离
Ascendc
大模型推理引擎
AI 估算 · 25k–40k
美团校招大模型方向，北京，技术难度高，薪资竞争力强，参考互联网大厂硕士校招水平。
职位详情
关于这个职位
加入美团LongCat团队，参与打造世界级的大模型推理引擎，直面Token消耗指数级增长的工程挑战
你将从事模型-系统协同设计、高性能算子开发、推理框架优化或分布式系统架构等工作，直接影响千亿级Token的推理效率，改善数亿用户体验
最低要求
理论基础：深入理解Transformer架构核心机制（Attention/MoE/Memory等），熟悉大模型训练流程及推理流程
工程能力：熟悉主流推理框架（SGLang/vLLM）源码，对PD分离、模型量化、投机推理、调度重叠、前缀缓存等关键技术有实战落地经验
精通C++/CUDA/AscendC，具备复杂算子（如FlashAttention、量化GEMM等）的开发与调优经验者优先
掌握RDMA网络编程及分布式系统理论，有MoonCake/LMCache/Dynamo等分布式KV缓存系统实践经验者优先
系统经验：具备大模型推理系统的一线工程经验，熟悉大规模PD分离集群的运维、监控及性能调优者优先
工程素养：代码能力强，具备优秀的性能profiling、瓶颈分析及跨层优化能力，对系统级问题有敏锐洞察力者优先
工作职责
模型-系统协同设计：深度参与模型架构设计，将推理效率优化的思想前置到模型设计环节，与算法及训练工程团队紧密协作，从硬件亲和性角度出发，设计低延迟、高吞吐的模型结构，实现算法与系统的端到端优化
高性能算子开发：面向异构计算硬件，研发极致优化的融合算子，探索Tiling策略、内存访问模式、流水线并行等底层性能优化手段
推理框架优化：深入优化自研推理框架，降低调度开销，实现计算与通信的高效重叠，提升硬件利用率
分布式系统架构：设计高可用的分布式推理系统，通过智能请求调度、动态负载均衡、反压控制等机制，保障系统在突发流量下的稳定性与SLA
长上下文场景极致优化：针对T级别参数模型在M级别序列长度下的推理场景，系统性优化显存占用、IO带宽、算力分配及跨节点通信效率，充分释放硬件潜力
AI 洞察
优缺点分析
优点
- 美团平台支撑超大规模线上流量，场景真实且复杂，能积累宝贵实战经验
- 团队技术氛围浓厚，与算法、训练等团队紧密协作，拓宽技术视野
- 技术栈深且新，对底层硬件、分布式系统、模型设计均有要求，学习曲线陡峭
- 校招门槛高，需要扎实的理论和丰富的工程经验，面试竞争激烈
- 适合对AI系统优化有浓厚兴趣，具备强工程能力和底层技术功底，愿意深入大模型推理领域的应届生
缺点 / 挑战
- 直面大模型核心工程挑战，技术含量高，成长空间大
- 工作强度可能较高，需要应对紧急线上问题和性能优化压力
角色解读
- 技术深度方向：从算子优化到框架架构，成为大模型推理领域的专家
- 技术广度方向：横向拓展至训练框架、模型设计等，成为全栈AI系统工程师
- 管理方向：积累经验后带领子团队，负责推理系统整体架构与演进
- 参与大模型推理引擎的核心研发，包括模型-系统协同设计、高性能算子开发等
- 对主流推理框架（如SGLang/vLLM）进行源码级优化，实现PD分离、量化推理等关键特性
- 设计高可用的分布式推理系统，保障服务稳定性和SLA，优化长上下文场景的显存与通信效率
- 深入理解Transformer架构及大模型推理流程，熟悉Attention、MoE等机制
- 精通C++/CUDA/AscendC，具备复杂算子开发与调优经验
- 掌握RDMA网络编程及分布式系统理论，有KV缓存系统实践经验优先
- 优秀的性能分析和系统级优化能力
申请策略
- 提前了解美团LongCat团队的技术博客或开源项目，面试中展示对团队工作的了解
- 准备一个系统级优化案例，从问题发现到方案实施，体现系统性思维
- 突出大模型相关项目经验，如使用SGLang/vLLM进行推理优化或参与过类似框架开发
- 强调C++/CUDA编程能力，附上复杂算子开发或性能调优的具体成果
- 展示对Transformer架构的深入理解和论文阅读能力，最好有相关技术博客或开源贡献
- 如果对RDMA或分布式KV缓存不熟悉，建议学习相关文献或动手实践
- 深入阅读SGLang/vLLM源码，理解PD分离、量化等关键实现
- 补充AscendC编程经验，了解华为昇腾平台
面试指南
- 对于优化类问题，从问题定位（profiling）、方案设计（空间换时间、计算重叠等）、实验验证、收益分析等步骤展开
- 对于系统设计类问题，明确需求场景，分析关键约束（延迟、吞吐、成本），提出架构方案并讨论权衡
- 对于理论机制问题，先阐述核心概念，再结合实际工程实现中的挑战和改进
- 请详细解释FlashAttention的原理和实现中的性能优化点
- 如何设计一个高吞吐、低延迟的PD分离推理集群？
- 如果遇到模型推理显存不足，你会如何优化？请从多个层面分析
- 描述你曾经优化过一个算子的过程，包括瓶颈分析和最终提升
- 你对MoE模型在推理时如何实现负载均衡有什么见解？
匹配度报告
75
综合匹配度
美团校招，大模型推理引擎研发，前沿技术栈，高成长但工作强度较大，适合技术狂热者。
适合人群
最适合将技术成长和挑战作为首要目标的求职者，愿意投入时间精力换取出类拔萃的能力。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利75
成长发展95
工作生活50
使命价值80
薪资福利匹配
75中等
美团校招薪资有竞争力，福利完善（五险一金、年终奖等），但具体薪资面议，补偿性动机满足度中等偏上。
薪资信号面议 (25K-40K/月)
成长发展匹配
95较高
该岗位直面大模型最前沿的工程挑战，技术栈新且深，能极大提升系统优化能力，发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈大模型推理引擎、C++、CUDA、AscendC、Transformer、SGLang、vLLM、PD分离、模型量化、FlashAttention、RDMA
业务类型profit_center
工作生活匹配
50较低
北京现场办公，未明确说明WLB，互联网大厂通常有一定工作强度，生活化动机满足度一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
80较高
大模型推理引擎是AI基础设施的核心，技术价值和社会影响力大，但使命导向在JD中体现不明显，意义感动机满足度较高。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs