联想
数据评测开发工程师
数据评测开发工程师
发布于 大约 9 小时前普通员工/个人贡献者
北京市
初级经验
全职员工
仅现场办公
本科
测试开发
Ai Agent
CI/CD
Deepeval
Function-Calling
Llm-As-A-Judge
Prompt Engineering
Rag
Ragas
Sql
AI 估算 · 20k–35k
职位详情
关于这个职位
作为联想的数据评测开发工程师，你将负责构建AI Agent的端到端评测体系，包括评测标准制定、数据集建设、自动化流水线开发以及竞品对标分析
该职位需要你具备扎实的Python和SQL技能，熟悉主流评测框架，并能与算法、工程、产品团队紧密协作，推动问题闭环治理
这是一个在AI领域深耕的绝佳机会，适合对质量保障和AI技术充满热情的人才
最低要求
年以上大模型/算法评测、自动化测试开发或 AI 产品质量经验
熟悉Python，能独立开发评测脚本与流水线框架
熟练使用 SQL 做数据处理与实验统计分析
熟悉至少 1 种主流评测框架（RAGAS、DeepEval、TruLens、AgentBench、PromptFoo、PawBench 等）
了解 SWE-Bench、WebArena、GAIA、ToolBench 等学术 Benchmark
掌握主流评测方法论：准确率/召回率、成对对比、评分量表、LLM-as-a-Judge、人工评测
理解大模型、Agent、RAG、Function-Calling 与 Prompt 工程基本原理
具备评测数据集完整构建经验，熟悉标注流程、样本分层与质量控制
工作职责
评测体系搭建：建立 AI Agent 端到端评测体系，制定覆盖问答质量、多轮对话一致性、工具调用准确率、任务完成率、稳定性、安全性与用户体验的多维评测标准，形成可量化、可复用的评分量表
评测数据集建设与管理：构建并持续维护高质量 Golden Dataset，完成样本采集、清洗、标注、分层、去重与版本管理
覆盖标准问答、多步推理、边界 Case 与对抗样本，保障数据集的代表性、场景覆盖度与区分度
自动化评测流水线与基建：开发自动化评测 Pipeline，融合规则校验、代码断言、LLM-as-a-Judge 与人工专家评审多路评分
接入 CI/CD 实现版本发布前自动回归
打通"离线评测 → 自动化回归 → 线上监控"全链路
竞品 Benchmark 对标：对标 Claude Code、OpenCode 等主流 Coding Agent 产品，定期开展横向 Benchmark 评测，输出能力差距与优化方向
问题归因与迭代闭环：建立失败案例归因体系，对幻觉、误判、漏答、工具调用失败、执行中断、结果不稳定等问题做聚类分析
输出评测报告，推动算法、工程、产品团队完成 Top 问题专项治理
离线-线上效果对齐：探索用户线上行为、业务结果与离线指标的相关性，持续提升离线评测对真实用户体验的预测与解释能力
优先资格
有自动化评测平台、大规模评测流水线建设经验
有复杂任务 E2E 评测或工具调用 Agent 评测经验
熟悉 LangSmith、LangFuse 等 LLM 可观测性工具，能做全链路故障归因
有离线评测指标与线上业务指标对齐的实践经验
较强的结构化分析与报告撰写能力，能从失败样本中提炼共性问题并给出可落地建议
优秀的跨团队协作能力，能驱动算法、工程、产品、QA 多方落地问题治理
AI 洞察
暂无 AI 洞察数据
Watch Jobs