腾讯
AI评测负责人（Agent/大模型方向）
AI评测负责人（Agent/大模型方向）
发布于 2 小时前中层管理(经理/总监)
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai评测
Llm-As-Judge
Rlhf
团队管理
大模型(Llm)
质量保障
评测体系建设
值不值得投
81综合评分
综合评分 81
腾讯核心AI管理岗，前沿技术栈，高成长潜力，薪资优厚，工作强度可能较高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1930 个在招
市场机会
选择不多
深圳 · 数据标注与评测 · 1 个在招
职位详情
关于这个职位
负责腾讯电脑管家系列Agent及自研大模型的AI评测体系建设与质量保障，制定评测标准、指标体系及中长期路线图
主导评测工程平台搭建，打通线上反馈闭环，带领团队通过数据驱动模型迭代与产品优化，确保模型效果与安全红线
最低要求
本科及以上学历，计算机科学、软件工程、人工智能或相关专业，硕士优先
年以上质量保障、算法评测或相关领域经验，其中有2年LLM或Agent评测经验更佳
有从零搭建评测体系并推动落地的完整经历
年以上团队管理或技术牵头经验，能带领团队完成目标
较好的跨团队沟通与推动能力
深入理解主流LLM/Agent评测基准与方法论，能清楚说明各类判分方式的取舍
熟悉pass@k、pass^k、LLM-as-Judge校准、数据污染防治等关键问题
理解大语言模型的基本原理（Transformer、预训练、SFT/LoRA微调、RLHF、推理优化），熟悉ReAct、Function Calling、Tool Use、Planning、多Agent协作等Agent核心概念
熟练掌握Python，具备评测平台或自动化测试框架的架构设计能力
工作职责
统筹腾讯电脑管家系列Agent（如管家云端Agent、磁盘清理专家等）以及自研微调模型的AI评测与质量保障工作，对产品和模型的效果质量负责
规划并主导AI评测体系建设，制定中长期路线图，覆盖模型能力评测、Agent任务评测和端到端产品评测
牵头制定评测标准、指标体系和评测流程，构建贴合业务的自有Benchmark
建立评测驱动的研发机制：把评测结果接入模型迭代、Agent发版和CI流程，设定安全红线和质量门禁
为产品决策、模型选型和微调方向提供数据依据
主导评测工程平台建设，包括评测集管理、评测执行器、判分器（规则判分、状态比对、LLM-as-Judge及人工校准）和线上采样评测
打通“线上trace、Bad Case挖掘、回归评测集”的闭环
打通线上反馈闭环：从用户真实trace、负反馈、Bad Case中挖掘问题，持续沉淀为回归评测集
组建并带领评测团队，推动评测结论落地为实际改进
研判业界评测基准与方法的演进趋势，例如SWE-bench Verified / Pro、Terminal-Bench、OSWorld、Windows Agent Arena、τ-bench、OS-Harm，识别公开基准的饱和与数据污染问题，结合业务做适配与创新，并对外沉淀技术影响力
AI 洞察
优缺点分析
优点
- 身处腾讯核心业务线，接触最前沿的大模型与Agent技术，技术栈极具竞争力
- 拥有完善的评测体系搭建权限，能从0到1构建自有Benchmark，积累深厚技术壁垒
- 平台广阔，对外可沉淀技术影响力，对内可直接影响产品决策，职业成就感强
- 大厂背书，薪资待遇优厚，福利体系完善
- 涉及多团队协作（算法、工程、产品），沟通协调成本高，推动落地难度较大
- 适合具有5年以上AI评测或质量保障经验，且具备团队管理能力的高级技术人才
- 对大模型技术有深刻理解，热衷于构建标准化体系并推动落地的候选人
缺点 / 挑战
- 需要平衡学术界的最新进展与工业界的落地需求，技术更新快，学习压力大
- 作为负责人需承担团队管理与业务双重压力，对综合能力要求极高
- 评测标准制定需应对快速迭代的模型，可能面临标准滞后或失效的挑战
角色解读
- 成为AI评测领域的行业专家，引领评测标准与技术演进
- 向更高层级的技术管理岗位发展，负责更大规模的AI产品质量体系
- 拓展至AI产品战略层面，参与核心产品的技术决策与商业化落地
- 负责腾讯电脑管家系列Agent及自研大模型的AI评测与质量保障工作
- 规划并主导AI评测体系建设，制定评测标准、指标体系及中长期路线图
- 主导评测工程平台建设，打通线上反馈闭环，通过数据驱动模型迭代与产品优化
- 带领评测团队，研判业界评测基准趋势，解决数据污染等问题
- 深入理解LLM/Agent评测基准与方法论，熟悉LLM-as-Judge、数据污染防治等关键技术
- 掌握大语言模型基本原理（Transformer、SFT/LoRA、RLHF等）及Agent核心概念
- 熟练掌握Python，具备评测平台或自动化测试框架的架构设计能力
- 具备团队管理经验及跨团队沟通推动能力
申请策略
- 关注腾讯电脑管家及腾讯云在AI领域的最新动态，展现对业务的理解
- 准备具体的案例，说明如何解决评测中的难点（如数据污染、主观性偏差等）
- 体现技术领导力，不仅关注技术细节，更要展示如何通过技术驱动业务价值
- 突出从零搭建AI评测体系的完整经历，强调自建Benchmark的成果与影响力
- 详细列举在LLM/Agent评测中的具体技术实践，如LLM-as-Judge的应用、数据污染防治方案等
- 展示团队管理经验，包括团队建设、跨部门协作及推动重大技术项目落地的案例
- 强调对业界前沿评测基准（如SWE-bench等）的研究与适配创新成果
- 深入研究最新的Agent评测基准（如OSWorld、Windows Agent Arena等），了解其局限性与改进方向
面试指南
- STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)，重点突出个人贡献与量化成果
- 技术深度+业务广度：既展示对底层技术原理的理解，又体现对业务场景的洞察
- 问题导向：针对挑战类问题，先分析问题本质，再提出解决方案，最后总结反思与改进
- 数据支撑：用具体数据证明评测体系的有效性及其对产品/模型的改进作用
- 请分享你从零搭建AI评测体系的完整经历，遇到的最大挑战是什么？
- 如何看待LLM-as-Judge在评测中的应用？它有哪些优缺点？如何解决其一致性问题？
- 面对快速迭代的大模型，如何保证评测基准的有效性和时效性？如何应对数据污染？
- 如何设计一个既能反映模型能力又能贴合业务需求的Agent评测指标体系？
职位点评
薪资福利85
成长发展95
工作生活60
使命价值75
薪资福利
85较高
腾讯作为上市巨头，提供具有市场竞争力的薪酬和完善的福利体系，满足高收入预期。
薪资信号未披露（AI估算：4.0千–7.0万/月）
成长发展
95较高
职位处于AI前沿领域，要求搭建从零到一的评测体系，技术成长空间巨大，且具备团队管理机会。
技术前沿前沿/新兴技术
技术栈LLM、Agent、Transformer、SFT、LoRA、RLHF、LLM-as-Judge、Python
业务类型profit_center
工作生活
60中等
JD未明确提及弹性工作制或WLB，大厂核心研发岗通常工作强度较高，但腾讯相对注重效率。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
致力于通过AI技术改善用户体验（如电脑管家Agent），具有明确的社会价值和技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号渴望为世界带来新意、科技的不断革新，最终能带来美好的、撼动人心的改变
创新程度开拓性创新（行业首创）
Watch Jobs