三一集团
AI评测分析师
AI评测分析师
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai模型评估
Llm
Vibe Coding
数据分析
智能制造
自动化测试
行业研究
值不值得投
74综合评分
综合评分 74
前沿AI技术栈、大厂平台、业务价值导向，WLB待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
2.0万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 130 个在招
市场机会
选择适中
北京 · 数据标注与评测 · 44 个在招
职位详情
关于这个职位
该职位负责基于真实业务场景定义AI模型评估集与标准，构建自动化评估工具并产出结论
同时需结合数据反馈进行策略分析以支持模型优化，并跟进业界前沿技术（如LLM+机器人）在工业及通用办公领域的落地实践，为集团智能化战略提供决策支持
最低要求
本科及以上学历，具备智能体/模型评估相关的实习经验
动手能力强，拥有Vibe Coding项目经验
逻辑清晰，善于将复杂问题结构化，能有效推动跨团队协作落地
工作职责
模型评估：基于真实业务场景及数据，定义评估集、评估标准，参与构建自动化评估工具，产出评估结论
策略分析：基于评估结果/用户反馈/业务数据进行分析洞察，支持各业务的模型选型、效果优化
行业研究：跟进业界最新技术进展与产业落地进展，洞察AI在通用办公/工业领域的最佳实践与新业务机会
优先资格
有专业垂直领域背景，熟悉某一个或某几个垂直业务场景（如制造/销售/办公等）优先
AI 洞察
优缺点分析
优点
- 接触前沿AI技术（LLM+机器人），在大型制造企业落地真实业务场景，职业发展空间大
- 需要平衡技术与业务，对跨部门协作能力要求高，且需持续跟进快速变化的AI技术
- 适合对AI技术有热情，具备较强逻辑思维和分析能力，希望在大厂平台深耕垂直领域应用的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI产品经理、算法工程师或企业数字化转型专家方向发展，深入理解AI在垂直行业的落地应用
- 构建AI模型的评估体系，包括定义评估指标、搭建自动化评估工具和生成评估报告
- 掌握AI模型评估方法论，具备编程能力（特别是Vibe Coding风格），拥有良好的数据分析和逻辑思维能
申请策略
- 准备具体的案例说明如何通过评估发现模型问题并推动优化，体现业务价值导向
- 突出AI模型评估相关的项目经验，展示Vibe Coding的具体成果，强调解决复杂问题的逻辑思维能力
- 加强Python编程能力，学习主流LLM评估框架（如LangSmith, Promptfoo等），了解制造业或特定垂直领域的业务知识
面试指南
- 采用STAR法则（情境、任务、行动、结果）描述项目经历，重点突出评估方法的科学性、工具构建的技术细节以及最终带来的业务价值
- 你如何设计一个LLM应用的评估体系？
- 请分享一个你通过数据分析发现模型缺陷并优化的案例
- 如何在没有明确标准的情况下定义评估指标？
- 复习常见的AI评估指标（如准确率、召回率、幻觉率等），了解当前LLM评估的前沿趋势，准备1-2个完整的评估项目案例
职位点评
薪资福利75
成长发展85
工作生活60
使命价值70
薪资福利
75中等
作为已上市的跨国巨头企业，提供具有市场竞争力的薪资和稳定的福利保障，满足补偿性动机。
薪资信号市场水准 (1.5千–2.5万/月)
成长发展
85较高
职位涉及前沿AI技术与真实业务场景结合，提供广阔的学习空间和成长路径，满足发展性动机。
技术前沿前沿/新兴技术
技术栈LLM、AI评测、Vibe Coding、自动化评估
业务类型profit_center
工作生活
60中等
未明确提及弹性工作制，但作为研发类岗位，通常具有一定的工作自主性，WLB表现中等。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
工作内容直接服务于集团智能化战略落地，产生真实业务价值，具有一定的使命感和行业影响力。
行业发展稳定成熟行业
社会影响中性/一般
使命信号服务于集团智能化战略落地，产生真实业务价值
创新程度积极采用新技术
三一集团 的其他在招职位
相似职位推荐
音频美学实习生-【可灵AI专项】
快手 · 北京市
AI 估算 · 0.2–0.3千4 天前发布
晓天衡宇-领域主管-work方向
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万4 天前发布
阿里控股-AI评测专家-AI模型
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万4 天前发布
AI 评测技术专家
小红书 · 上海市
AI 估算 · 6.0–10.0万4 天前发布
标注和地图内业质量管理
美团 · 北京市
AI 估算 · 2.0–3.5万6 天前发布
商品信息信息核验
美团 · 北京市
AI 估算 · 1.2–2.0万6 天前发布
晓天衡宇-领域主管-image方向
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万7 天前发布
AI评测负责人（Agent/大模型方向）
腾讯 · 深圳市
AI 估算 · 4.0–7.0万12 天前发布
Watch Jobs