数据技术及产品部-大模型评测研发工程师-杭州/北京

优缺点分析

角色解读

• 技术专家路线：在评测领域深耕，成为大模型评测技术方向的权威专家
• 架构师路线：主导评测平台的架构演进，负责复杂系统的整体设计
• 管理路线：带领评测技术团队，负责团队规划与人才培养
• 设计并研发面向大模型与Agent的通用评测框架，支持多模态、长程任务、工具调用等复杂评估维度
• 将SWE-bench、Terminal-Bench等业界主流评测集精准适配到内部平台，并设计量化评估指标体系
• 以Harness Engineering思路将评测任务Agent化，开发自动化诊断工具，提升评测效率与智能化水平
• 探索LLM-as-Judge、多智能体评判等前沿评测范式，推动评测技术的创新与落地
• 精通Python或Java，具备扎实的工程功底和Linux/Shell自动化能力
• 深入理解大模型评测体系，熟悉主流评测框架和开源评测集
• 具备分布式任务调度、MLOps平台或数据Pipeline的设计与落地经验
• 熟悉Docker、Kubernetes、Conda等环境隔离与资源调度技术

申请策略

• 在申请材料中表达对AI评测的热情和独到见解，展现技术思考深度
• 了解阿里巴巴在通义千问等大模型上的业务布局，在面试中体现对业务的理解
• 突出评测框架、MLOps平台或数据Pipeline从0到1的落地项目经验，量化成果
• 重点展示对SWE-bench、Terminal-Bench等主流评测集的理解和适配经验
• 强调在LLM-as-Judge、Agent评测等前沿方向的探索或实践成果
• 如有开源项目、论文或竞赛贡献，务必在显眼位置列出
• 系统梳理大模型评测领域的主流框架和评测集，深入理解其设计原理
• 动手实践将评测任务Agent化，熟悉Harness Engineering的思路和工具

面试指南

• STAR法则：清晰描述项目背景、任务、行动和结果，突出个人贡献和技术难点
• 对比分析：在回答技术选型或方案设计问题时，对比不同方案的优劣，展现思考深度
• 结合实践：回答前沿技术问题时，结合自己的实践或调研，提出有见地的观点
• 请详细介绍一下你主导或参与的评测框架或MLOps平台项目，包括架构设计、技术选型和遇到的挑战
• 谈谈你对SWE-bench评测集的理解，如果要将其适配到内部平台，你会如何设计？
• 如何设计一个针对Agent的评测指标体系？请举例说明
• 你如何看待LLM-as-Judge的优缺点？在什么场景下你会使用它？
• 如何保证评测结果的可复现性？请结合你的工程经验谈谈