心动
Harness 评估优化工程师（Agent 数据分析方向）
Harness 评估优化工程师（Agent 数据分析方向）
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公数据分析
数据分析
Claude Code
Jsonl
Sql
归因分析
统计分析
值不值得投
79综合评分
综合评分 79
前沿AI Agent数据分析岗，技术成长空间大，薪资中上，WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.5万
比数据分析中位数高
发布情况
新岗位 · 今天发布
公司情况
公司还在招多个职位
4 个在招
市场机会
选择面较广
上海 · 数据分析 · 约 130 个在招
职位详情
关于这个职位
该职位负责通过分析AI Agent的真实使用数据，识别失败模式并进行归因下钻，从而驱动内部Harness产品的持续优化
你需要结合数据分析与对AI工具的理解，将数据发现转化为可执行的改进建议，并验证优化效果
最低要求
有丰富的 Claude Code / Codex / Cursor 等编码 Agent Harness 的使用经验，是重度用户
对 Harness 和模型各自的失效模式有自己的思考——同一个失败，能分清是 Harness 设计问题还是模型能力问题
熟练使用 Python 或 Node.js 进行数据处理与分析，有处理大规模日志（GB 级 JSONL）的实践经验，SQL 良好
具备扎实的统计分析功底：抽样与分层对比、假设检验、混淆控制
清楚样本量受限时哪些结论站得住、哪些站不住，不把相关当因果
强自驱力与问题推进能力：没有现成任务清单时，能自主提出假设、设计验证路径、追到根因为止
年限不设硬门槛——工具在快速变化，资历深不等于方法新，我们更看重把问题挖穿的习惯
对数据结论诚实：证据不足就明说，规则命中有噪声就标注噪声，不为了结论好看而修饰数字
良好的跨团队沟通能力：能把数据发现讲清楚给工程、产品团队，推动共识和行动
工作职责
分析 Agent 的真实使用数据（会话日志、工具调用轨迹、报错、token 消耗），识别高频失败模式与异常行为模式
对行为信号做归因下钻：区分 Harness 缺陷 / 用户使用模式 / 模型能力边界 / 数据口径假象，定位到具体环节和成因
将坐实的发现转化为 Harness 层的可执行改进建议（工具契约、上下文策略、失败恢复逻辑、系统提示设计等），协同工程团队推动落地
设计并执行改进效果的验证：上线前后用同一套数据口径对比，量化问题是否收敛
持续迭代分析方法与信号规则：从数据里发现新的、尚未被定义的问题类型，沉淀分析工具与结论产出流程
AI 洞察
优缺点分析
优点
- 处于AI Agent和Harness优化的前沿领域，能深入理解大模型应用落地的核心痛点
- 平台稳定，内部产品优化岗位能接触到海量真实用户数据，业务场景丰富
- 岗位强调自驱力和探究精神，不设年限硬门槛，为有能力者提供公平的施展空间
- AI工具和技术迭代极快，需要持续保持对新技术的敏锐度和学习热情
- 归因分析难度大，需要在模型能力边界、系统设计和用户行为之间进行复杂的剥离和判断
- 适合对AI Agent有深度使用经验、具备严谨数据分析思维且喜欢探究问题根因的技术型人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 纵向可发展为AI数据分析专家或Harness产品架构师，主导更复杂的AI系统评估与优化
- 横向可向AI产品经理或技术管理方向发展，利用数据驱动AI产品的整体战略与迭代
- 深入分析AI Agent的真实使用数据（如会话日志、工具调用轨迹等），识别高频失败模式与异常行为
- 对问题进行归因下钻，区分是Harness设计缺陷、用户使用模式还是模型能力边界导致的问题
- 将数据发现转化为可执行的改进建议，协同工程团队落地，并设计验证方案量化优化效果
- 熟练掌握Python或Node.js进行大规模日志（GB级JSONL）处理，具备优秀的SQL能力
- 具备扎实的统计分析功底，掌握抽样、假设检验等方法，能严谨地进行归因分析
- 深度使用过Claude Code、Cursor等编码Agent，对Harness和模型的失效模式有深刻理解
申请策略
- 在简历或面试中展示你对当前主流AI Agent工具的评测报告或深度思考
- 准备好如何向非技术背景的产品或工程团队清晰传达复杂数据结论的沟通案例
- 突出在Claude Code、Cursor等编码Agent上的深度使用经验，以及对Harness失效模式的独到见解
- 展示处理GB级大规模日志数据的实战项目，强调Python/Node.js和SQL的高级应用能力
- 列举通过数据归因分析发现问题并推动产品或系统改进的成功案例，体现闭环能力
- 深入学习大模型Agent的底层原理、Prompt Engineering及工具调用机制
- 强化高级统计学知识，特别是因果推断和混淆控制在实际业务中的应用
面试指南
- STAR法则：针对案例题，按照情境、任务、行动、结果的框架，重点突出你的分析逻辑和最终带来的业务价值
- 假设驱动：针对归因问题，先提出假设，再说明如何通过数据验证或证伪，展现严谨的逻辑思维
- 请分享一个你通过分析Agent使用数据，发现并解决Harness设计缺陷的具体案例
- 当发现一个高频失败模式时，你如何区分这是模型能力边界问题还是Harness上下文组织的问题？
- 在处理GB级JSONL日志时，你通常使用什么工具或框架？如何保证处理效率和准确性？
- 如果样本量受限，你如何确保你的数据结论是可靠的？请举例说明你的统计分析方法
- 提前体验并深度使用至少两款主流编码Agent，总结它们在工具调用和上下文管理上的优缺点
- 复习假设检验、分层抽样等统计学核心概念，并准备将其与日志分析场景结合的实战话术
职位点评
薪资福利80
成长发展90
工作生活60
使命价值85
薪资福利
80较高
上市大型企业，薪资处于市场中上水平，福利体系相对完善，但JD未明确披露具体薪资和福利细节。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
90较高
岗位处于AI Agent前沿领域，能深入接触大模型应用落地的核心问题，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈Python、Node.js、SQL、JSONL、Agent、Harness、Claude Code、Cursor
业务类型cost_center
工作生活
60中等
JD未提及工作模式和WLB相关信息，具体工作节奏和办公灵活性需进一步确认。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
致力于优化AI Agent的底层Harness，推动AI工具更好地服务于开发者，具有较高的技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs