晓天衡宇-大模型评测工程师-代码方向（北京）

优缺点分析

角色解读

• 深耕AI评测领域，成为模型评估与质量保障专家，参与制定行业评测标准
• 向AI技术产品或项目管理方向发展，主导评测平台或评测体系的产品化
• 凭借对模型能力的深刻理解，转型为AI算法工程师或应用开发工程师，直接参与模型优化
• 设计、维护和迭代用于评估大模型代码能力的评测集与评测流程
• 运营人工对战评测，制定标准并对评测结果进行结构化Badcase分析，输出能力榜单和诊断报告
• 处理和管理评测所需的大规模数据，确保数据质量、安全，并搭建自动化的评测数据平台
• 通过评测数据发现模型短板，为模型团队优化代码生成能力提供数据支撑和洞察
• 扎实的编程能力，尤其是Python，以及至少一门主流开发语言，能够编写和审阅代码
• 熟悉主流代码评测基准和方法，理解如何设计和执行公平、有效的模型评测
• 强大的数据分析和处理能力，能够使用pandas等工具对大规模数据集进行清洗、分析和质量管理
• 严谨的逻辑思维和归因分析能力，能够深入分析代码Badcase的根本原因

申请策略

• 在求职信或面试中，可以结合你对某次模型评测结果的分析，展示你的洞察力
• 表现出对“评测公正性”、“可复现性”和“数据溯源”的重视，这与职位要求高度契合
• 突出与“代码评测”、“模型评估”、“数据处理”相关的项目或实践经验
• 展示对至少一个主流代码评测集（如SWE-bench）的了解或实践，或展示独立的Badcase分析报告
• 强调使用Python进行数据处理（pandas）和自动化脚本编写的能力
• 体现严谨的数据思维，如数据清洗、质量控制、可复现流程搭建的经历
• 系统学习并实践1-2个主流代码评测集，尝试复现或分析其评测结果
• 深入学习数据工程基础，包括数据质量度量、数据版本控制等

面试指南

• 对于评测设计类问题，采用“目标 -> 方法 -> 细节 -> 验证”的结构：先明确评测目的，再说明具体方法（如打分维度、对战机制），接着描述关键细节（如评判标准、质检比例），最后提到如何验证结果的有效性
• 对于Badcase分析类问题，使用“现象 -> 分层 -> 根因 -> 结论”的框架：先描述现象（如代码报错），再按表现层和根因层逐步拆解，最后总结核心问题并给出可操作的反馈
• 对于数据处理类问题，强调“质量、安全、效率”：阐述你对数据准确性、去重、脱敏的流程设计，并说明如何平衡数据质量与处理效率
• 请介绍一个你熟悉的代码评测集（如SWE-bench），它的评测目标、流程和可能的局限性是什么？
• 如何设计一个公平的LLM代码能力人工对战评测？你会制定哪些打分标准和质检机制？
• 给我一个模型生成代码的Badcase，你会如何进行三轴归因分析？请举例说明
• 你如何处理和清洗一个大规模的代码评测数据集？需要关注哪些数据质量和安全问题？
• 如果让你从零开始设计一个简单的代码评测数据表和可视化仪表板，你会包含哪些字段和图表？