晓天衡宇-大模型评测工程师-多模态方向（北京）

优缺点分析

角色解读

• 在评测领域深耕，成为大模型评测专家，影响模型迭代方向
• 横向拓展至模型训练、调优或数据工程，成为全栈AI工程师
• 晋升为技术Leader，带领评测团队，负责更广泛的模型质量保障
• 设计多模态评测框架，拆解能力指标并建立聚合口径，确保评测的科学性和可解释性
• 建设并迭代Omni理解评测集，覆盖图文、视频、音频等混合输入场景，评估跨模态对齐和长视频理解能力
• 设计世界模型生成评测方案，涵盖文生视频、图生视频、物理规律遵循等维度，推动生成模型能力评估
• 搭建自动化与人工评测链路，进行badcase归因分析，输出改进建议，并持续跟踪主流模型能力演进
• 扎实的算法基础，熟悉多模态大模型架构（如视觉编码器、跨模态对齐、时序建模）
• 熟悉主流评测集（如MMBench、Video-MME）和主观评测方法（GSB、Elo），能设计打分协议
• 熟练使用Python，能独立搭建数据处理和评测管线
• 具备数据分析能力，能对评测结果进行归因和报告输出

申请策略

• 关注阿里巴巴AI实验室动态，了解其评测体系
• 在面试中展示对评测问题的深入思考和独立见解
• 突出大模型评测或相关算法项目经验，展示对评测集和指标的理解
• 强调Python工程能力，如数据处理管线搭建、自动化脚本编写
• 展示对主流多模态模型和评测集的熟悉程度，可附上相关分析报告或博客
• 深入学习多模态模型架构和视频生成技术，如扩散模型、世界模型
• 实践主观评测方法，如设计GSB实验，提升标注一致性管理能力
• 熟悉主流评测集和榜单，了解其优缺点

面试指南

• 结构化回答：先明确目标，再拆解指标，最后设计实验和评估方法
• 结合项目经验：用具体案例说明你如何解决评测中的问题
• 展示思考深度：提及评测的局限性和改进方向，体现批判性思维
• 如何设计一个评测集来评估多模态模型的跨模态一致性？
• 你如何控制主观评测中的偏差？请举例说明
• 谈谈你对Video-MME评测集的理解，它有哪些局限性？
• 如何对badcase进行归因分析？请描述一个具体案例
• 你如何确保评测结果的可复现性？