【LongCat大模型人才校招】基座评测与认知分析-基础模型及Agent能力研究

优缺点分析

角色解读

• 从评测研究员起步，逐步成长为Agent评测领域的专家，主导评测标准制定
• 横向拓展至模型训练、优化方向，成为大模型全栈人才
• 晋升技术Leader，带领评测团队，推动公司级评测体系建设
• 设计并构建Agent全维度评测体系，覆盖感知、规划、执行、反思等核心能力维度
• 基于真实用户场景开发交互式评测方案，优化评测指标以贴近用户体验
• 利用线上日志分析Agent失效模式（如工具幻觉、目标偏离），转化为回归测试用例
• 探索下一代评测范式，如人机协同评估、自进化评估，产出高水平论文
• 扎实的机器学习/NLP/强化学习基础，熟悉大模型原理与评测方法
• 优秀的编程能力（Python），能快速实现评测框架和数据分析流水线
• 出色的数据分析和问题定位能力，能从复杂日志中提炼规律
• 学术研究能力，有顶会论文发表或大影响力项目经验者优先

申请策略

• 在简历和面试中表达对Agent评测的热情，并给出自己对该领域的独特理解或设想
• 提前了解美团在Agent评测方面的公开成果（如PRDBench、CATArena），思考可能的改进方向
• 突出机器学习和NLP相关项目经验，特别是大模型评测、Agent相关经历
• 强调顶会论文发表或重大竞赛获奖（如ACL、NeurIPS、ACM/ICPC等）
• 展示数据分析、问题定位和自动化工具开发的能力，附上GitHub链接
• 如果缺乏Agent评测经验，可先学习主流评测Benchmark（如MT-Bench、AgentBench），复现相关论文
• 提升Python工程能力，熟悉pandas、NumPy等数据分析库，了解CI/CD和自动化测试

面试指南

• 对于评测设计类问题，采用“目标-维度-指标-数据-验证”框架，从业务目标出发，分解能力维度，设计可量化的指标，规划评测数据，最后通过实验验证
• 对于问题分析类问题，采用“现象-假设-验证-归因-改进”框架，结合日志和实验定位根因，提出改进方案并评估效果
• 对于开放性问题，展示学术洞察力，引用已有工作，提出自己的创新点，体现研究思维
• 请介绍一个你参与过的大模型或Agent相关项目，如何评价其效果？
• 如何设计一个评测方案来衡量Agent在复杂任务中的规划能力？
• 如果你发现某个Agent在特定场景下频繁出现工具幻觉，你会如何分析和解决？
• 你如何看待当前主流评测Benchmark的局限性？如何改进？
• 请谈谈你对Agentic Evaluation或Auto Research的理解和设想