海尔
数据与测评工程师
数据与测评工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
Benchmark构建
Llm-As-Judge
Pipeline开发
Sql
大模型评测
数据分析
数据清洗
机器学习
值不值得投
73综合评分
综合评分 73
前沿AI数据评测岗、技术成长空间大、WLB待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比数据工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 780 个在招 · 其中数据工程 3 个
市场机会
选择面较广
上海 · 数据工程 · 约 120 个在招
职位详情
关于这个职位
负责AI大模型训练及评测所需数据集的设计、构建、清洗与质量控制，搭建自动化/人工评测流水线与Benchmark测试集，通过数据分析与工具开发推动模型迭代优化，需具备扎实的编程与机器学习基础
最低要求
计算机、人工智能、数据科学、统计、数学、电子信息或相关专业
熟悉 Python、SQL 及常用数据处理工具，具备较强的数据分析和工程实现能力
理解机器学习、深度学习或大模型的基本训练与推理流程，能够与研究及算法团队进行有效协作
对数据质量、实验设计、统计分析和评测指标具有较强敏感度，能够从复杂结果中发现关键问题
具备严谨的工作习惯、良好的沟通协作能力和结果导向
工作职责
负责 AI 模型训练、后训练及评测所需数据集的设计、构建、清洗、筛选、版本管理与质量控制
建设覆盖不同模型与任务的 Benchmark、测试集和评测标准，持续提升评测的代表性、稳定性与可解释性
构建自动化评测、人工评测及 Model-as-Judge / LLM-as-Judge 等评测流程，并持续校准评测结果
建立 Failure Taxonomy、回归分析和错误诊断机制，定位模型、数据和产品体验中的系统性问题
设计并维护数据采集、标注、审核及供应商协作流程，建立可量化的数据质量标准
与研究、算法、产品及数据平台团队协作，将真实使用反馈转化为数据与评测需求，推动模型持续迭代
开发数据分析、评测流水线、Dashboard 及相关工具，提高研发和版本验证效率
跟踪大模型、多模态模型、Agent 等方向的数据与评测方法，持续引入有效的新技术与新指标
AI 洞察
优缺点分析
优点
- 深度接触大模型与多模态前沿技术，积累稀缺的AI数据工程与评测经验
- 适合对AI数据链路有热情、具备扎实编程与统计学基础、追求技术深度的求职者
缺点 / 挑战
- 需同时兼顾数据工程落地与算法理论理解，跨团队协作沟通成本较高
角色解读
- 可向AI数据架构师、大模型评测专家或数据科学负责人方向发展，逐步主导企业级AI数据治理体系
- 负责大模型训练与后训练阶段的数据集构建、清洗与质量控制，确保输入数据的高质量与一致性
- 掌握Python/SQL数据处理与工程实现能力，熟悉ML/DL训练推理流程，具备实验设计与统计分析敏感度
申请策略
- 提前了解目标公司在AI领域的业务落地场景，准备1-2个数据驱动模型优化的完整案例
- 突出数据Pipeline开发经验、大规模数据集处理案例、以及参与过模型评测或A/B测试的项目经历
- 补充LLM相关评测框架（如RLHF、DPO数据构建）、自动化工具链开发能力及统计学进阶知识
面试指南
- 采用STAR法则（情境-任务-行动-结果），重点说明问题定义、技术方案选型依据、实施过程中的难点突破及量化业务收益
- 如何设计一套针对大模型多任务能力的Benchmark测试集？
- 遇到数据分布偏移或长尾问题时，如何进行错误诊断与归因分析？
- 请描述你搭建过的自动化数据清洗或评测流水线架构
- 如何平衡人工标注成本与Model-as-Judge的可靠性？
- 复习机器学习基础理论与统计检验方法，梳理过往数据工程项目的架构图与性能指标，了解主流LLM评测基准（如HELM、Big-Bench）
职位点评
薪资福利72
成长发展85
工作生活60
使命价值70
薪资福利
72中等
基于上市公司背景与市场薪资水准，薪酬福利具备一定竞争力，但具体待遇需以HR沟通为准。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
85较高
深度参与大模型评测与数据体系建设，技术栈处于行业前沿，能积累稀缺的AI数据工程经验。
技术前沿前沿/新兴技术
技术栈LLM、Python、SQL、Benchmark、Model-as-Judge
业务类型ambiguous
工作生活
60中等
职位描述未明确办公模式与工时安排，传统制造企业数字化转型节奏可能带来一定工作压力。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
聚焦大模型与多模态技术落地，契合当前AI产业高速发展期，具备较强的技术探索价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs