阿里巴巴
阿里控股-AI 推理系统工程师（Harness方向）-杭州
阿里控股-AI 推理系统工程师（Harness方向）-杭州
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Kv Cache
Llm推理
可观测性
性能分析
缓存优化
请求调度
Prefix Cache
值不值得投
薪资怎么样
4.2万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 4100 个在招 · 其中机器学习工程 约 230 个
市场机会
选择面较广
杭州 · 机器学习工程 · 约 310 个在招
职位详情
关于这个职位
该岗位聚焦 Agent Harness 与大模型推理系统的协同优化，通过观测 Agent 的请求模式、上下文变化与工具调用流程，挖掘推理侧的性能优化机会
你将设计缓存复用、缓存生命周期管理、请求调度与上下文组织等方案，并通过实验验证其对缓存命中率、时延和资源开销的影响
最低要求
计算机或相关专业本科及以上学历，具备扎实的编程能力，熟练使用 Python，具备系统开发和数据分析能力
熟悉大模型推理的基本原理，了解 KV Cache、Prefix Cache、请求调度等机制，有推理框架使用或开发经验
熟悉 Agent 的基本执行流程，理解上下文管理、工具调用、多轮交互等 Harness 行为及其对推理负载的影响
能够采集和分析 Agent 执行轨迹与推理指标，识别重复计算、缓存失效、上下文增长和等待时间等问题
能够基于分析结果实现优化原型，并通过实验评估缓存命中率、响应时延、资源开销及任务效果的变化
工作职责
围绕 Agent Harness 与推理系统的协同开展分析和优化
通过观测不同 Agent 的请求模式、上下文变化、工具调用和执行流程，识别推理侧的优化机会
结合 Harness 特性，探索缓存复用、缓存生命周期管理、请求调度和上下文组织等方案，提升 Agent 的执行效率与任务效果
优先资格
有 Agent 框架开发、推理缓存优化、性能分析或可观测性系统建设经验者优先
AI 洞察
优缺点分析
优点
- 处于大模型推理与 Agent 这一前沿交叉方向，技术积累价值高
- 工作内容兼具系统开发、性能分析和实验验证，能力锻炼全面
- 依托大型 AI 业务场景，可接触真实海量请求与复杂负载
- 涉及推理框架、缓存机制与 Agent 执行流程的交叉知识，学习曲线较陡
- 优化效果需要通过严谨实验量化，对分析与工程能力要求高
- 前沿领域迭代快，需要持续跟进新技术
- 适合具备系统开发背景、熟悉大模型推理原理，并对 Agent 与性能优化有浓厚兴趣的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可沿推理系统与 AI 基础设施方向深入，成长为性能优化/推理框架方向的资深工程师
- 也可向 Agent 系统架构、AI 平台工程或技术专家方向发展
- 积累前沿的 LLM 推理与 Agent 协同优化经验，具备较强行业迁移性
- 观测不同 Agent 的请求模式、上下文变化、工具调用与执行流程，定位推理侧的性能瓶颈与优化机会
- 设计并验证缓存复用、缓存生命周期管理、请求调度、上下文组织等优化方案
- 采集并分析 Agent 执行轨迹与推理指标，量化重复计算、缓存失效、上下文增长和等待时间等问题
- 实现优化原型，并通过实验评估缓存命中率、响应时延、资源开销和任务效果的变化
- 扎实的 Python 编程与系统开发能力，能进行数据采集与分析
- 熟悉大模型推理原理，理解 KV Cache、Prefix Cache、请求调度等机制
- 理解 Agent 执行流程，包括上下文管理、工具调用、多轮交互及其对推理负载的影响
- 具备性能分析与实验评估能力，能搭建优化原型并量化效果
申请策略
- 了解阿里在 Agent 与推理基础设施方向的业务布局，面试中体现对真实场景的理解
- 准备一两个完整的性能优化案例，突出从问题发现到量化验证的闭环
- 突出 Python 系统开发与数据分析相关项目经验
- 强调对 KV Cache、Prefix Cache、请求调度等推理机制的理解与实践
- 展示性能分析、缓存优化或可观测性系统建设的具体成果与量化指标
- 有 Agent 框架、工具调用或多轮交互相关经验要重点呈现
- 提前熟悉主流推理框架的缓存与调度机制，如 vLLM、SGLang 等的实现思路
- 补充 Agent 执行流程与上下文管理的知识，理解 Harness 行为对推理负载的影响
面试指南
- 原理先行：先讲清机制原理，再结合实际场景说明取舍
- 数据驱动：用指标（命中率、时延、资源开销）支撑结论，强调实验闭环
- 结构化表达：按问题—分析—方案—验证的顺序组织回答
- 请解释 KV Cache 与 Prefix Cache 的原理及适用场景，你如何优化缓存命中率？
- Agent 的多轮交互和工具调用会给推理负载带来哪些挑战？如何应对？
- 你会如何采集和分析 Agent 执行轨迹来定位重复计算或缓存失效问题？
- 描述一次你做过的性能优化，如何设计实验验证效果？
- 在请求调度和上下文组织上，你有哪些优化思路？
Watch Jobs