Agent数据与评测Leader（Coze方向）-Dev Infra

优缺点分析

角色解读

• 在字节跳动AI基础设施团队，可晋升为更高级别的技术管理或架构师
• 通过主导评测体系，成为大模型质量保障领域的专家
• 可横向拓展至更广泛的AI Infra方向，如训练、推理等
• 带领团队构建Agent评测体系，覆盖编程、Claw、垂类Agent等场景，确保效果评估与问题定位
• 主导评测基建从0到1的搭建，包括评测产线、自动化工具和数据分析链路
• 负责Benchmark和高质量评测数据的设计、采集、合成与持续迭代
• 跨团队协同（业务、策略、产品、研发），推动效果迭代闭环
• 扎实的工程能力，熟练使用Python、Go、C++等至少一种编程语言
• 丰富的大模型评测经验，熟悉评测方法论和自动化流程
• 数据分析能力，能从数据中发现问题并驱动改进
• 团队管理与跨部门协作能力，能推动复杂项目落地

申请策略

• 理解Coze和字节跳动AI生态，在面试中展现对业务场景的洞察
• 准备一个评测体系建设方案，展示系统性思考
• 突出大模型评测相关项目经验，特别是从0到1搭建评测体系的经历
• 强调团队管理或项目领导经验，包括团队规模、跨部门协调案例
• 展示工程能力，如编程语言熟练度、自动化工具开发
• 如有Agent开发或论文发表，务必重点提及
• 如果缺乏评测体系搭建经验，可先自学相关方法论，如自动化评测工具链
• 补充Agent开发知识，了解Claw等场景

面试指南

• STAR法则：情境-任务-行动-结果，特别是项目背景和你的具体贡献
• 系统性思维：先谈整体架构，再细化到技术细节
• 数据驱动：强调用数据说话，量化指标和改进效果
• 请描述你之前负责的大模型评测项目，如何设计评测指标？
• 如何搭建一个自动化的评测产线？技术选型考虑哪些？
• 团队管理经验：如何分配任务、跟进进度、处理冲突？
• 如何与产品、研发等团队协作推动评测结果落地？
• 对Agent场景的评测有什么独特见解？与传统NLU评测有何不同？