地平线
【2027届校招】模型推理优化工程师
【2027届校招】模型推理优化工程师
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公平台工程
平台工程
Agent系统
Cuda
Gpu优化
Vllm
分布式系统
大模型推理
系统性能优化
Llm Serving
值不值得投
79综合评分
综合评分 79
前沿AI Infra校招岗，技术成长性极强，薪资有竞争力，但办公模式与WLB信息不明确。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
33K
比平台工程中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 380 个在招
市场机会
选择适中
北京 · 平台工程 · 36 个在招
职位详情
关于这个职位
该职位隶属于AI基础架构部，负责优化下一代大模型推理与智能体平台
工作核心是在大规模异构GPU集群上，对推理引擎、调度系统及智能体运行时进行全栈优化，旨在提升系统吞吐、降低延迟、提高GPU利用率，并控制推理成本，以支撑AI Coding、研发效能与企业级智能体等应用
最低要求
届本科及以上学历，计算机科学、人工智能、电子工程或相关专业
扎实的计算机基础：深入理解操作系统原理、计算机体系结构、数据结构与算法，对系统性能优化有直觉
在以下至少一个领域具备扎实基础：
①GPU / 高性能计算：CUDA 编程、算子优化、内存管理
②分布式系统：一致性、调度、通信原理
③大模型推理或训练系统：Serving 架构、并行策略、显存优化
优秀的编程能力：熟练使用 Python / C++ / CUDA / Go / Rust 中至少一门语言，具备良好的工程素养与代码风格
强烈的好奇心与自驱力：对 AI Infra / MLSys / LLM Serving / Agent System 方向充满热情，愿意深入底层解决系统级问题
良好的沟通协作能力：能清晰表达技术方案，与团队成员高效协同
工作职责
推理基础设施优化：参与自研大模型推理平台的系统研发与架构演进，覆盖从 GPU 算子到服务层的完整链路
深入 CUDA / Triton / CUTLASS 等底层算子优化，提升 Prefill 与 Decode 阶段的计算效率
推理框架与系统研发：设计和实现高效推理架构，包括 Prefill / Decode 分离式推理（Disaggregated Serving）、Continuous / Dynamic Batching 与请求级调度策略、异构推理资源调度（跨 GPU 型号、跨集群的智能分配）、分布式 KV Cache 管理（多级缓存、跨节点共享与前缀复用）
基于 SGlang、vLLM、TensorRT-LLM 等开源框架进行深度定制与二次开发
智能体（Agent）运行时优化：参与智能体运行时的设计与开发，优化多轮对话、工具调用（Tool Use / Function Calling）场景下的推理延迟与吞吐
设计高效的 Agent 调度与并发执行框架，支持多 Agent 协作与长链路任务编排
构建 Agent 可观测性体系——推理链路追踪、性能瓶颈分析与成本归因
优先资格
推理框架经验：熟悉 SGlang、vLLM、TensorRT-LLM、DeepSpeed-Inference 等主流推理框架，有源码阅读或深度贡献（PR / Issue）经历
系统开发实习：在头部科技公司的 AI Infra、推理引擎、高性能计算或云原生团队有实习经验
Agent / RAG 系统经验：有 Agent、RAG、Multi-Agent 系统或 Function Calling 相关的开发与项目经验
云原生基础设施：熟悉 Kubernetes，了解 GPU 调度与容器编排
竞赛或科研经历：ACM/ICPC 等算法竞赛获奖，或在 MLSys / 系统 / AI 顶会（OSDI、SOSP、MLSys、NeurIPS、ICML、NSDI 等）有相关研究成果
开源影响力：有开源项目贡献或技术博客 / GitHub 活跃记录
AI 洞察
优缺点分析
优点
- 代码直接影响生产环境，拥有真实的工程价值和影响力
- 提供从底层系统到上层应用的全栈技术视野，成长路径清晰
- 公司技术文化开放，鼓励开源贡献和学术交流，有利于技术积累
- 技术深度要求高，需深入GPU编程、分布式系统等底层细节，学习曲线陡峭
- 项目复杂度高，需要协调和理解从硬件到应用的多个技术栈
- 作为校招新人，需要快速适应大规模生产环境的工程实践和团队协作
- 对AI系统底层原理充满好奇，享受解决复杂系统性能问题，且具备扎实计算机基础和强烈自驱力的应届毕业生
缺点 / 挑战
- 直接参与行业最前沿的大模型推理与Agent平台建设，技术挑战性强
角色解读
- 成为AI Infra或推理系统领域的技术专家，深耕系统优化与架构设计
- 成长为负责整体AI基础设施的架构师，引领技术选型和平台建设
- 可转向技术管理岗位，带领团队在AI系统工程方向进行攻坚
- 优化大规模GPU集群上的大模型推理系统，提升吞吐量并降低延迟
- 设计和实现推理引擎的核心组件，如动态批处理、分布式KV缓存和异构资源调度
- 开发并优化智能体（Agent）运行时框架，支持复杂的多轮对话和工具调用场景
- 参与从底层算子到上层应用的全栈系统研发，构建高性能AI基础设施
- 扎实的系统编程能力，精通C++/Python/CUDA中至少一门，具备高性能代码开发经验
- 深入理解GPU架构、并行计算和分布式系统原理，有算子优化或系统性能调优经验
- 熟悉至少一个主流大模型推理框架（如vLLM, TensorRT-LLM）的原理或源码
- 对AI Infra、MLSys、LLM Serving或Agent系统有浓厚兴趣和基本认知
申请策略
- 研究地平线在AI芯片和智能驾驶领域的技术布局，理解该岗位对公司战略的价值
- 准备一个能体现你系统设计思维和技术深度的项目，以便在面试中深入讨论
- 面试时展现出对底层技术的钻研精神和解决实际工程问题的热情
- 突出与GPU编程、系统优化或分布式计算相关的课程设计、项目或实习经历
- 详细描述一个你解决过性能瓶颈或进行系统优化的具体技术案例
- 展示在GitHub上的开源贡献、技术博客或ACM等竞赛获奖经历
- 强调任何与大模型推理、Agent开发或Kubernetes相关的实践经验
- 深入学习一个开源推理框架（如vLLM）的源码，理解其核心调度与内存管理逻辑
面试指南
- 使用STAR法则（情境、任务、行动、结果）结构化地讲述项目经历，突出你的技术决策和量化成果
- 在回答系统设计问题时，先澄清需求和约束，再分模块讨论设计思路，最后考虑可扩展性和容错性
- 对于概念解释题，力求准确清晰，可以从定义、工作流程、常见挑战和优化思路几个层面展开
- 请介绍一个你参与过的、与性能优化或系统开发相关的项目，遇到了哪些挑战？如何解决的？
- 你如何理解大模型推理中‘Prefill’和‘Decode’阶段的特点？有哪些可能的优化方向？
- 设计一个简单的调度系统，用于在多台异构GPU服务器上分配推理请求，你会考虑哪些因素？
- 请解释KV Cache在推理过程中的作用，以及你如何设计一个分布式KV Cache管理系统？
- 你为什么对AI Infra这个方向感兴趣？你认为一名优秀的模型推理优化工程师需要具备哪些特质？
职位点评
薪资福利75
成长发展90
工作生活60
使命价值85
薪资福利
75中等
作为已上市公司的校招岗位，薪资水平在北京AI技术领域应具有竞争力，公司稳定性好。但JD未提及具体的薪酬福利结构。
薪资信号市场水准 (25K-40K/月)
福利待遇技术导师制度
成长发展
90较高
职位深度参与AI Infra前沿技术，提供从底层到上层的全栈成长路径和导师制度，技术发展机会极佳。
技术前沿前沿/新兴技术
技术栈CUDA、GPU优化、分布式系统、大模型推理、LLM Serving、Agent系统、vLLM、Kubernetes
成长机会技术导师制度、高频技术分享
业务类型profit_center
工作生活
60中等
JD未提及任何远程或弹性办公模式，工作地点在北京，需考虑通勤。未明确提及工作强度和WLB相关信息。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
处于人工智能高速发展的核心领域，工作直接降低推理成本、加速AI产品交付，具有明确的技术影响力和业务价值。
行业发展高速增长赛道
社会影响中性/一般
使命信号降低推理成本、加速整个公司的 AI 产品交付
创新程度积极采用新技术
Watch Jobs