【REDstar】Dots-大模型评测算法研究员

优缺点分析

角色解读

• 深入评测算法研究，成为领域专家
• 转向模型训练或优化方向，拓展技术栈
• 晋升为团队负责人，管理评测团队或相关项目
• 设计大语言模型的多维度评测体系，确保模型能力全面覆盖
• 开发自动化评测平台，提高评测效率和准确性
• 与团队合作定义评测标准，参与模型发布质量控制
• 跟踪前沿评测研究，推动评测能力持续进化
• 对大语言模型有深入理解和清晰认知
• 熟悉主流 benchmark 并能分析其设计哲学和局限
• 具备 Python 编程和数据处理能力，能搭建自动化流程
• 扎实的统计分析能力，能从噪声数据中提取信号

申请策略

• 关注小红书 AI 团队的研究方向和发布的大模型相关技术
• 准备面试时展示对评测体系的深入思考，如如何设计抗污染策略
• 突出大模型或 NLP 相关项目经验，特别是评测或数据处理方面
• 展示 Python 编程和自动化流程搭建能力，如使用 Pandas、Airflow 等工具
• 强调统计分析成果，如数据分析报告、论文发表（如有）
• 体现对评测体系和 benchmark 的深入理解
• 学习最新评测方法（如 LLM-as-judge）和主流 benchmark 的更新
• 提升 Python 工程化能力，熟悉数据 pipeline 工具如 Apache Beam 或 MLflow

面试指南

• 结构化回答：先定义评测目标，再设计维度和指标，最后说明实施和验证过程
• 结合具体项目案例，详细描述数据处理、问题解决和优化步骤
• 展示批判性思维，分析技术方案的优缺点并提出改进建议
• 请描述你如何设计一个大语言模型的评测体系？你会考虑哪些维度？
• 你如何处理评测数据中的噪声和偏差？举例说明
• 对于 LLM-as-judge，你认为它的优势和局限是什么？
• 如何防止评测数据集泄露到训练集？可以设计哪些策略？
• 你在之前项目中是如何自动化评测流程的？遇到了哪些挑战？