Agent数据&评测工程师/专家-Dev Infra

优缺点分析

角色解读

• 可向高级评测专家或大模型算法专家方向发展，深入Agent能力评估与优化
• 有机会转向Agent开发或模型训练方向，积累全栈式大模型经验
• 也可向技术管理岗位发展，带领评测团队，或进入学术界发表论文、参与标准制定
• 负责LLM在编程、个人助理等场景的端到端评测，包括制定评测标准、开发自动化评测Agent，并通过数据分析持续优化评测方法
• 构建大规模高质量数据集，包括数据抓取、解析和合成，提出更好的Benchmark来度量Agent和模型能力
• 关注行业动态，引入新技术，参与校企合作项目和学术会议，助力团队构建学术界影响力
• 具备扎实的编码能力，熟练掌握C/C++/Go/Python中的至少一种，数据结构和算法基础牢固
• 对大模型和Agent有深入理解，有相关评测或开发经验者优先，需要能够独立设计评测方案
• 具备数据构建和处理能力，熟悉数据抓取、解析、合成等流程，能够提出创新性Benchmark

申请策略

• 在简历中体现对字节跳动相关产品（如TRAE、扣子）的了解，展示业务兴趣
• 突出大模型相关项目经验，特别是Agent评测、数据构建或模型调优的实践
• 强调编码能力，列出熟练的语言和算法竞赛、开源贡献等成果
• 如有论文发表或学术会议经历，务必展示，体现研究能力
• 提前了解LLM评测常用方法（如HumanEval、MT-Bench等）和Agent框架（如LangChain、AutoGPT）
• 补充数据抓取、清洗、合成方面的技能，熟悉常见数据工具

面试指南

• 对于评测方案类问题，从目标定义、指标选择、数据集构建、自动化流程、结果分析等维度展开，结合具体案例
• 对于项目经验类问题，采用STAR原则（情境-任务-行动-结果），突出个人贡献和效果量化
• 对于开放性问题，强调逻辑性和创新性，展示对技术细节的理解和思考
• 如何设计一个Agent在编程任务上的评测方案？请举例说明
• 简述你参与过的大模型数据构建或评测项目，遇到的最大挑战是什么？
• 如何自动化地评估一个Agent的性能，并保证评测的公平性和可重复性？
• 你如何理解端到端评测与单独模型能力评测的区别？
• 请描述一个你主动探索并解决的技术难题，体现自驱力