【LongCat实习】基座评测与认知分析-基础模型及Agent能力研究

优缺点分析

角色解读

• 在美团基础研发平台积累大模型评测与 Agent 核心技术，成为该领域专家
• 参与业界顶级课题，产出高水平论文，提升学术影响力
• 可向算法工程师或研究科学家方向发展，未来在 AI 领域深耕
• 构建大模型 Agent 全维度评测体系，设计感知-规划-执行-反思的评测框架
• 基于用户真实使用场景，开发拟真交互式评测方案与体验指标
• 利用线上日志挖掘 Agent 典型失效模式，自动化生成回归测试用例
• 探索人机协同评估、自进化评估等前沿评测范式，推动学术产出
• 扎实的机器学习、自然语言处理或强化学习研究基础，熟悉主流大模型技术
• 优秀的代码能力（Python），具备数据分析和实验设计经验
• 有顶会论文发表或竞赛获奖经历优先，体现学术或工程影响力
• 良好的问题分析与系统性思维，能独立完成从方案设计到结果验证的闭环

申请策略

• 关注美团技术博客或开源项目，了解团队研究方向，在求职中体现热情
• 准备一个与评测相关的小项目或分析报告，展示专业思考
• 突出机器学习/NLP/强化学习相关项目经历，尤其是大模型或 Agent 相关经验
• 列出顶会论文发表或竞赛获奖情况，体现学术竞争力
• 展示数据分析、实验设计、代码开源贡献等硬技能
• 强调问题分析与系统解决问题的能力，可用案例说明
• 提前熟悉主流大模型（如 GPT、Llama）和 Agent 框架（如 LangChain、AutoGPT）
• 学习评测方法论，了解常用 benchmark（如 HumanEval、AgentBench）

面试指南

• STAR 法则：先说明背景与任务，具体行动与结果，突出个人贡献
• 结合具体技术细节：例如评估维度、指标设计、数据分析方法
• 体现思考深度：不仅描述做了什么，还要说明为什么这样做及改进空间
• 请介绍一下你在大模型或 Agent 评测方面的项目经验
• 如何评估一个 Agent 系统的能力？你会设计哪些维度？
• 如何利用线上日志分析模型失效模式？请举例说明
• 你如何看待当前大模型评测的局限性？你有什么改进思路？
• 描述一个你独立解决复杂问题的案例