数据技术及产品部-评测平台研发工程师-北京/杭州

优缺点分析

角色解读

• 技术专家路线：深耕AI评测与平台架构技术，成为该领域的权威专家，主导技术方向决策
• 技术架构师路线：扩展系统设计与架构能力，负责更庞大、更复杂的AI基础设施平台
• 技术管理路线：在深厚的技术积累基础上，带领评测平台团队，负责业务规划与团队管理
• 负责集团级AI评测平台的架构设计与核心功能开发，确保平台能高效支撑多模态模型、Agent等AI能力的评测
• 进行深度评测数据分析，包括失败归因、得分分析和Badcase挖掘，为模型与Agent的迭代提供关键洞察
• 跟进前沿AI评测技术与Benchmark，设计并实施评测方案，将评测过程与结果转化为可管理的资产
• 与各业务团队协作，推动评测工具的自动化与标准化，降低业务方接入门槛，提升整体评测效率
• 扎实的工程能力，精通Python或Java，并熟练运用Linux和Shell进行自动化开发与运维
• 深入理解AI评测体系，具备从设计到落地构建AI应用平台或评测系统的完整项目经验
• 出色的复杂问题解决能力，能够拆解跨团队的大型项目，并协调资源推动落地
• 对AI技术（尤其是大模型、Agent）有热情和认知，能快速跟进业界最新评测方法

申请策略

• 在申请材料或面试中，展示你对AI评测体系独特而深入的思考，例如对评测方法论、自动化或归因分析的见解
• 准备一个关于如何设计一个评测系统以评估复杂AI能力的思路框架，这能体现你的架构思维
• 重点突出参与或主导过的AI平台、评测系统或类似大型技术平台项目，详细说明架构设计与解决的关键问题
• 列举熟练掌握的Python/Java项目经验，以及运用Linux/Shell进行自动化工具开发的具体案例
• 如果有AI评测、Agent开发或多模态AI相关经验，务必作为亮点详细描述
• 深入研究主流的大模型评测框架（如OpenCompass、EvalHarness等）与评测指标，了解业界最佳实践
• 系统学习Agent的基本原理、主流架构（如ReAct, Tool-use）及其评测方法，为可能的深度讨论做准备

面试指南

• 对于系统设计问题，采用“分层架构”思路：先明确核心目标（评什么、怎么评），再拆解为数据层、计算层、服务层、应用层，并说明各层职责与关键技术
• 对于方法论问题，强调“闭环思维”：从需求定义、方案设计、自动化执行、结果分析到反馈驱动迭代，形成完整流程
• 对于行为问题，使用STAR法则（情境、任务、行动、结果），并重点突出其中体现的“拆解复杂问题”、“跨团队沟通”和“技术决策”能力
• 请描述一个你主导的AI平台或评测系统项目的架构，并说明你为何做出关键的技术选型？
• 如果让你为一个全新的多模态Agent设计评测体系，你会从哪些维度考虑？如何平衡评测的全面性与效率？
• 在评测过程中，如何高效地对大量失败案例进行自动归因分析？你有哪些方法论或技术方案？
• 当评测平台需要同时支持多个不同业务团队的评测需求时，你会如何设计其架构以保证灵活性、可扩展性和低成本接入？
• 请分享一次你处理过的复杂技术问题，你是如何拆解、协调资源并最终推动解决的？