大模型多模态评测实习生

优缺点分析

角色解读

• 在AI评测领域积累专业经验，可向AI算法工程师或模型效果优化专家方向发展
• 深入了解多模态大模型的评估体系，未来可转做模型训练或产品运营等方向
• 可继续深造或留任公司，参与核心AI项目
• 负责视觉大模型（视觉理解/生成方向）的模型效果评估，参与评测方案设计
• 建立科学的评估策略，并探索自动化提效方案，提升评测效率
• 维护评测集题库，包括补充、更新和难度调整，确保评测需求
• 输出评测报告，进行case分析和改进建议，为算法优化提供数据支撑
• 熟悉视觉模型评估方法和指标，了解大模型评测流程
• 具备数据分析能力，能通过数据驱动评测质量提升
• 掌握Prompt Engineering核心方法论，有PE/Agent/Workflow实践经历
• 沟通能力强，逻辑清晰，能主导流程优化

申请策略

• 关注小红书AI技术团队动态，了解其产品和评测流程
• 在简历中明确实习出勤时间和时长，显示稳定性
• 突出大模型或视觉相关项目经历，尤其是评测或数据生产经验
• 展示自己的数据分析能力和逻辑思维，如量化结果
• 提及Prompt Engineering实践，如设计提示词优化模型输出的案例
• 强调沟通协作和流程优化经历
• 提前熟悉主流多模态大模型（如GPT-4V, CLIP等）的评估方法
• 学习Prompt Engineering，了解Agent和Workflow的基本概念

面试指南

• 对于评测类问题，可结合具体案例，从评测目标、方法设计、指标选择、结果分析等维度阐述
• 对于Prompt问题，可强调对模型原理的理解和实验迭代思路
• 对于数据分析问题，可提及数据收集、清洗、分析、结论的完整流程
• 你如何理解视觉大模型评测？请举例说明你如何评估一个模型的视觉效果？
• 如果模型生成质量不佳，你会如何定位问题并提出改进方案？
• 你如何看待人工评测与自动化评测的优缺点？
• 请介绍一下你使用Prompt Engineering的经验，如何设计有效的Prompt？
• 如何用数据驱动评测质量的提升？