数据技术及产品部-大模型评测标注领域专家-code/agentic方向

优缺点分析

角色解读

• 深化AI评测与标注领域专业能力，成为公司内技术权威
• 拓展至AI产品管理或算法优化方向，参与更宏观的技术战略
• 积累跨团队协作与项目管理经验，向技术领导岗位发展
• 制定与优化代码及Agentic场景的标注规范，确保数据质量与模型训练目标对齐
• 审核标注员产出，建立数据质量评估体系，解决复杂技术难题
• 为标注团队提供技术培训，将复杂概念转化为可执行标注实践
• 探索并设计更科学的评测指标与方法，推动评测技术进步
• 扎实的软件开发能力（3年以上），能熟练阅读和评审多种编程语言代码
• 对大模型能力发展脉络有深刻理解，能预判标注与评测重点
• 优秀的数据质量管控与研究能力，能设计创新评测任务和指标
• 出色的沟通与培训技巧，能将复杂技术概念转化为标注实践

申请策略

• 研究阿里巴巴在大模型和AI评测方面的公开进展，面试时体现业务了解
• 准备案例说明如何解决标注中的复杂边界问题或提升数据质量
• 突出3年以上代码开发经验及具体项目（如代码审查、工具开发等）
• 详细描述参与过的AI相关项目，特别是涉及数据质量、标注或评测的工作
• 强调研究能力，如发表过相关论文、设计过评测指标或解决过复杂技术难题
• 展示培训或技术指导经验，体现团队赋能能力
• 深入学习大模型评测方法、Agentic AI概念及相关前沿论文
• 熟悉主流标注工具与数据质量评估方法（如IAA）

面试指南

• 采用“背景-行动-结果”框架，结合具体项目经验回答
• 从问题定义、方案设计、实施步骤和效果评估等结构化阐述
• 强调技术深度的同时，体现对数据质量和业务目标的全局思考
• 你如何设计一个覆盖多任务的代码标注规范？请举例说明
• 面对标注员产出的数据质量问题，你会采取哪些具体措施进行管控和提升？
• 如何区分模型是真正掌握了技能还是仅仅“背题”？请分享你的反作弊思路
• 请描述一次你设计创新评测任务或指标的经历，遇到了哪些挑战？
• 你对Agentic场景下的标注框架设计有什么初步想法？