明略科技
大模型测评经理(J15848)
大模型测评经理(J15848)
发布于 9 天前中层管理(经理/总监)
全职员工仅现场办公AI算法
AI算法
大模型测评
数据分析
机器学习
深度学习
算法评估
跨部门协作
值不值得投
75综合评分
综合评分 75
前沿AI赛道、高成长潜力、薪资中上、工作节奏较快
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.3万
比AI算法中位数低
发布情况
正常在招 · 9 天前发布
公司情况
这家公司招聘很活跃
20 个在招 · 其中AI算法 6 个
市场机会
选择适中
北京 · AI算法 · 50 个在招
职位详情
关于这个职位
负责大模型的性能评估与测试体系搭建，制定测评标准并实施对比实验
通过数据分析提出优化建议，协调研发团队推动模型迭代，同时撰写技术文档并跟踪前沿技术以保持产品竞争力
最低要求
本科及以上学历，计算机、人工智能、统计学等相关专业优先
年以上相关工作经验，有大模型测评或开发经验者优先
熟悉机器学习、深度学习算法及其应用，具备较强的数据分析能力
优秀的沟通协调能力和团队合作精神，能够有效推动跨部门合作
具有强烈的责任心和自驱力，能够在快速变化的环境中推动项目进展
工作职责
负责大模型的性能评估与测试，制定测评标准和流程，确保模型的准确性和稳定性
设计并实施大模型的对比实验，分析结果并提出优化建议
协调研发团队进行模型改进，推动技术创新和产品迭代
撰写测评报告和技术文档，确保团队成员对模型性能有清晰的理解
跟踪行业动态及前沿技术，提出创新性的测评方案以保持产品竞争力
AI 洞察
优缺点分析
优点
- 处于AI行业核心热点赛道，积累的大模型评测方法论具有高行业壁垒和通用性
- 大模型技术迭代极快，评测标准尚未完全统一，需持续学习新模型特性以更新评测体系
- 适合对AI底层逻辑有深刻理解，且兼具技术深度与跨部门沟通能力的复合型人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI质量负责人、大模型算法专家或技术管理方向发展，成为AI落地环节的核心把关人
- 构建大模型评测体系，制定量化指标与测试流程，确保模型上线前的质量达标
- 深入理解LLM架构与原理，掌握自动化评测工具链，具备极强的数据敏感性与逻辑分析能力
申请策略
- 准备一份针对该公司产品的简易评测思路或报告，展示你对该业务场景的理解
- 突出在大模型评测中的具体案例，如设计的评测维度、使用的数据集规模及带来的模型优化效果
- 熟悉主流开源评测框架（如C-Eval, CMMLU等），提升对Prompt工程和RLHF效果的评估能力
面试指南
- 采用STAR法则：情境（评测难点）-任务（目标）-行动（具体方法/工具）-结果（量化提升）
- 强调数据驱动决策
- 你如何定义一个大模型的好坏？有哪些核心评测维度？
- 面对幻觉问题，你会设计怎样的测试用例来验证其鲁棒性？
- 如何平衡评测的覆盖率与计算成本？
- 当研发认为你的评测结果有误时，你如何沟通解决？
- 复习Transformer基本原理，了解当前SOTA模型的常见缺陷，准备一个完整的模型评测项目复盘
职位点评
薪资福利78
成长发展85
工作生活60
使命价值70
薪资福利
78中等
上市公司背景提供稳定的薪资发放保障，大模型领域薪资水平高于传统IT行业，整体薪酬竞争力较强。
薪资信号未披露（AI估算：2.5千–4.0万/月）
成长发展
85较高
身处AI最前沿领域，接触最新大模型技术，个人专业技能成长空间巨大，职业天花板较高。
技术前沿前沿/新兴技术
技术栈大模型、机器学习、深度学习
业务类型profit_center
工作生活
60中等
互联网/AI行业通常节奏较快，虽未明确提及加班，但“快速变化环境”暗示工作强度可能较大，WLB一般。
工作模式未明确
办公地点市区核心地段
加班情况JD含高强度暗示词
使命价值
70中等
致力于提升AI模型的准确性与稳定性，推动技术落地，具有明确的技术价值和社会应用前景。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
明略科技 的其他在招职位
相似职位推荐
Reinforcement Learning Intern - 2027
英伟达 · 上海市
AI 估算 · 1.0–1.5万5 小时前发布
AI Infrastructure and Frameworks Intern, Cosmos Lab - 2027
英伟达 · 上海市
AI 估算 · 8.0千–1.5万5 小时前发布
Senior AI Video Architecture Engineer
英伟达 · 上海市
AI 估算 · 4.0–7.0万5 小时前发布
Agent 开发工程师-订单组
同程旅行 · 北京市
薪资 · 3.0–4.5万13 小时前发布
Agent评测工程师
美团 · 北京市
AI 估算 · 2.5–4.5万14 小时前发布
【实习】大模型评测实习生
美团 · 北京市
AI 估算 · 0.3–0.4千14 小时前发布
AI Agent 知识库方向技术专家
美团 · 上海市
AI 估算 · 4.0–7.0万14 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 1.8–3.0万14 小时前发布
Watch Jobs