数据技术及产品部-LLM评测专家-通用及垂类方向

优缺点分析

角色解读

• 在AI评测领域深耕，成为大模型质量保障与能力评估的专家，向技术专家或技术Leader方向发展
• 通过深入理解模型训练与评测的闭环，可转岗至算法、数据科学或AI产品方向，拓宽职业路径
• 随着大模型在各行业落地，评测能力愈发重要，有机会成为行业稀缺的评测架构师或标准制定者
• 负责建设大模型评测体系，设计覆盖多学科的评测方案，确保模型能力评估的科学性和可复现性
• 围绕模型能力上限设计高难度评测任务，如复杂推理、多步任务等，检验模型真实生产力
• 深入分析模型bad case，定位问题根源，输出能力弱点图谱，为算法训练提供数据反馈
• 跟踪前沿评测方法，探索LLM-as-Judge等自动评估技术，提升评测效率和覆盖度
• 扎实的学科知识基础，至少在一个专业领域（如数学、法律、金融等）有深入理解，能设计专家级评测方案
• 熟悉大模型推理流程和能力边界，了解主流评测集的设计思路与局限性
• 具备跨领域沟通能力，能和算法、产品及各学科专家高效协作
• 加分项要求Python编程能力，以及SFT/RLHF、LLM-as-Judge等实操经验

申请策略

• 申请时展现对评测的热情和对细节的执着，可附上一份你熟悉的领域评测分析报告作为作品集
• 了解阿里巴巴的大模型布局（如通义千问），并在面试中表达你的见解
• 突出你在某个学科领域的专业深度，如发表过论文、做过相关项目等
• 强调任何与评测相关的经历，如构建过数据集、设计过基准测试、做过模型评估分析
• 展示编程能力，尤其是Python项目，以及数据处理和自动化脚本经验
• 如果有大模型使用或微调经验，务必提及，特别是对模型输出质量的分析
• 系统学习大模型基础概念（如Transformer、SFT、RLHF），了解模型训练流程对评测的影响
• 动手尝试使用主流LLM API，设计简单评测任务，练习写评测代码和bad case分析

面试指南

• 采用T-A-R框架：先讲任务背景（Task），再说明你的分析方法（Action），最后总结成果和影响（Result）
• 对于评测设计问题，从目标定义、数据构建、指标选择、实验验证、迭代优化五步展开，体现系统性思维
• 对于bad case分析，先分类问题（幻觉/指令遵循等），再归因，最后给优化建议，结构化表达
• 如何设计一个针对法律领域的大模型评测集？你会考虑哪些维度和指标？
• 当模型在数学推理任务上表现不佳时，你如何定位问题并给出改进建议？
• 请对比几个主流大模型评测基准（如MMLU、GSM8K），分析它们的优缺点
• 解释LLM-as-Judge的原理，并讨论它的可靠性和潜在缺陷
• 如何保障评测数据的时效性和防泄露？请给出具体方案