多模态大模型评测工程师-【可灵AI专项】

优缺点分析

角色解读

• 深耕评测领域，成为大模型评测专家，主导评测体系设计
• 横向扩展至算法或数据科学方向，结合评测经验参与模型调优
• 转向 AI 工具链或平台开发，构建更智能的评测基础设施
• 设计和执行多模态大模型的评测方案，覆盖文生图、图像编辑等方向，确保模型效果符合预期
• 开发自动化评测工具和数据处理 pipeline，提升评测效率和准确性
• 通过数据分析和问题归因，定位模型缺陷并与算法团队协作优化
• 参与构建评测 Agent、模型竞技场等前沿工具链，推动评测体系标准化
• 扎实的软件工程能力，能独立开发评测工具或平台
• 较强的数据分析能力，能从评测结果和用户行为中发现问题
• 对多模态大模型、图像生成有一定理解，了解质量评估维度
• 良好的跨团队沟通协作能力

申请策略

• 在求职信或面试中表达对多模态生成质量的理解，展现审美和评测思考
• 关注快手可灵 AI 的产品动态，提前了解其文生图特点
• 突出自动化测试或数据处理平台的开发经验，展示独立完成项目的能力
• 强调数据分析项目，尤其是与模型效果或用户行为相关的分析案例
• 如有大模型或 AIGC 相关项目（哪怕只是探索），务必提及
• 展示跨团队协作和推动复杂项目落地的经历
• 提前熟悉主流多模态评测基准（如 LMArena、GenAI-Bench）的评估方法
• 补充 Python 工程技能，如 pytest、CI/CD、数据处理库（pandas、numpy）

面试指南

• 对于评测设计类问题，可从准确率、召回率、人类偏好、公平性等维度展开，结合工程实现细节
• 对项目经验问题，使用 STAR 方法（情境、任务、行动、结果），突出技术细节和量化成果
• 对技术原理问题，不必过于深入，但需展示基本理解（如 diffusion 的去噪过程、VLM 的视觉编码）
• 如何设计一个文生图模型的评测方案？需要考虑哪些维度？
• 描述一个你以前做过的自动化测试或数据处理项目，遇到了什么挑战？
• 如何看待自动评测与人工评测的优缺点？如何结合？
• 如果评测发现模型生成图有某种缺陷，如何定位原因？
• 你对多模态大模型（如 diffusion、VLM）的原理了解多少？