地平线
【地瓜机器人】模型推理 Infra 工程师（大模型推理方向）
【地瓜机器人】模型推理 Infra 工程师（大模型推理方向）
发布于 3 天前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
学历未注明
信息技术与基础设施
Cuda
Kv Cache
Sglang
Vllm
分布式推理
大模型推理
性能优化
模型推理引擎
AI 估算 · 35k–50k
北京高级Infra工程师，大模型推理方向稀缺，地平线上市公司薪资竞争力强，月薪35k-50k合理。
职位详情
关于这个职位
负责自回归视频世界模型的推理基础设施设计与优化，基于SGLang/vLLM进行深度定制，支撑高吞吐低延迟的在线/离线推理服务
需要具备大模型推理引擎深耕经验，并对多模态/视频模型有技术热情，共同打造高效的推理系统
最低要求
扎实的编程与系统能力：熟练掌握 Python 及 C++/Rust 中至少一种系统级语言，有良好的数据结构与算法基础
熟悉 Linux 环境下的高性能网络编程、多线程/异步编程及性能剖析工具（如 perf、Nsight Systems）
大模型推理引擎经验：深度使用或贡献过 SGLang 或 vLLM，理解其核心组件：PagedAttention、continuous batching、分布式调度器、模型并行策略
具备实际落地经验：如将引擎部署于生产环境，处理过 ≥10B 模型的推理优化案例
对自回归生成与视频模态的理解：熟悉 Transformer 的自回归解码原理（包括 beam search、speculative decoding 等），了解视频编码/解码基本概念（如帧间预测、时间冗余）
能识别视频模型推理与纯语言模型推理的差异点（如动态 token 长度、时空注意力局部性、帧级缓存策略）
GPU 并行计算基础：熟悉 CUDA/Triton 编程，具备算子融合、显存布局优化或 kernel 调优经验
理解多卡通信（NCCL）、RDMA 及常用的模型并行范式（TP/PP/DP）
工作职责
推理系统设计与优化：负责自回归视频世界模型的推理基础设施架构设计、实现与性能调优，支撑高吞吐、低延迟的在线/离线推理服务
针对视频模型的长序列、高维 token、可变帧率等特点，优化 KV Cache、显存管理、动态 batching 与 request scheduling 策略
推理引擎二次开发：基于 SGLang 或 vLLM 进行深度定制开发，使其适配视频 token 流的结构（如空间-时间压缩、分层注意力等）
扩展或重构现有调度逻辑，支持视频特有的帧级依赖、异步帧生成与非连续 token 序列的解码模式
分布式推理与调度：设计并实现多卡、多节点下的模型并行（如 pipeline parallel、sequence parallel）与推理集群调度方案
探索集成 Mooncake 等分离式/近存计算调度框架，优化跨请求的显存复用与任务抢占，提升资源利用率
性能分析与瓶颈攻克：建立推理性能基准测试体系，分析端到端延迟、token 吞吐、帧间一致性、首帧耗时等关键指标
针对视频模型中常见的 transformer + 时序卷积混合结构，定制 kernel 融合与算子优化（如 Triton/CUDA）
与模型算法团队协作：协同模型训练团队，推动模型结构（如 3D attention、rotary embedding 适配视频）的推理友好化改进
设计推理与训练的一致性验证流程，确保自回归推理结果符合视频生成预期
优先资格
对 Mooncake 有了解或实践：理解其分离式内存调度、跨请求 KV cache 共享机制，并能评估其在视频长序列场景下的适用性
有主流 AI 推理框架（TensorRT-LLM、TGI、LightLLM）或分布式调度系统（Ray、Celery）的开发经验
发表过系统/机器学习相关顶会论文（OSDI、SOSP、MLSys、ASPLOS、ICLR 等）
AI 洞察
优缺点分析
优点
- 前沿的技术方向：世界模型和多模态AI是未来发展重点，积累经验价值极高
- 公司平台优秀：地平线是上市公司，自动驾驶和AI芯片领域领先，技术资源丰富
- 技能深度提升：需要深入底层系统优化，将大幅提升系统编程和并行计算能力
- 技术难度高：同时涉及大模型推理、视频处理、分布式系统，学习曲线陡峭
- 工作强度可能较大：前沿探索性任务需要快速迭代和持续攻坚
- 竞争激烈：该岗位对工程和算法能力要求高，面试门槛高
缺点 / 挑战
- 适合具备大模型推理引擎深耕经验、对系统性能优化充满热情、愿意挑战多模态前沿技术的工程师
角色解读
- 从推理引擎开发者成长为系统架构师，主导下一代推理基础设施的设计
- 深入多模态AI领域，结合视频生成和世界模型技术，成为稀缺的跨领域专家
- 有机会向技术管理方向发展，带领团队攻克技术难题，或转为研究员发表顶会论文
- 设计和优化自回归视频世界模型的推理系统，包括KV Cache管理和动态批处理策略
- 基于SGLang/vLLM进行定制开发，适配视频token流的特殊结构
- 实现多卡多节点的分布式推理调度，提升资源利用率和吞吐量
- 与算法团队协作，推动模型结构的推理友好化改进，并进行性能基准测试
- 扎实的编程能力，精通Python和C++/Rust，熟悉高性能网络编程和性能分析工具
- 深入理解SGLang或vLLM等推理引擎的核心组件，有≥10B模型的实际优化经验
- 掌握自回归解码原理和视频编码基本概念，能识别视频与语言模型推理的差异
- 熟悉CUDA/Triton编程，具备算子融合和显存优化经验，理解多卡通信和模型并行
申请策略
- 在求职信中表达对世界模型和视频生成技术的热情，结合自己的相关经历说明
- 关注地平线的技术博客和开源项目，了解其推理技术栈，面试中展现共鸣
- 突出你在SGLang/vLLM上的贡献或深度使用经验，包括具体优化案例和成果
- 展示你处理≥10B模型推理的经验，量化性能提升指标（如延迟降低、吞吐提升）
- 强调CUDA/Triton编程和算子优化经验，附上相关项目链接或代码片段
- 提前了解视频编码和自回归视频模型基本概念，如帧间预测、时空注意力
- 熟悉Mooncake等分离式推理调度框架，评估其在长序列场景下的适用性
面试指南
- 对于技术问题，使用STAR法则：情境、任务、行动、结果，量化成果
- 对于系统设计问题，先明确需求边界，然后提出多种方案对比，最后给出推荐
- 请详细解释SGLang的PagedAttention和continuous batching是如何工作的？你是如何优化它们的？
- 针对视频模型的长序列特点，你会如何设计KV Cache的管理策略？
- 描述一次你优化≥10B模型推理性能的经历，从发现问题到解决方案
- 视频模型推理与语言模型推理有哪些主要差异？请举例
- 如何设计多卡多节点的分布式推理调度方案？考虑哪些因素？
- 复习SGLang/vLLM的源码，理解关键组件（调度器、显存管理、模型并行）
职位点评
69
综合评分
大模型推理前沿岗位，深度系统优化，发展上限高，WLB一般。
更适合这类人
适合追求技术成长和前沿挑战的求职者，愿意为职业发展承担较大工作强度。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值70
薪资福利
75中等
职位薪资水平在北京具有竞争力（高级Infra稀缺），但JD未明确薪资福利，故得分中等偏上。
薪资信号未披露（AI估算：35K-50K/月）
成长发展
90较高
职位涉及世界模型、自回归视频推理等前沿技术，成长空间巨大，且明确要求对引擎深度定制，发展性极强。
技术前沿前沿/新兴技术
技术栈SGLang、vLLM、CUDA、Triton、Transformer、自回归生成、视频模型、分布式推理、KV Cache、Mooncake
业务类型profit_center
工作生活
40较低
北京现场办公，JD未提WLB，从职责推测可能涉及高强度研发，生活方式满足度有限。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
世界模型和视频生成属于AI前沿，社会影响力中等偏上，但公司业务偏自动驾驶，创新性强。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
地平线 的其他在招职位
相似职位推荐
Watch Jobs