日常实习生-大模型应用评测算法-未来生活实验室

优缺点分析

角色解读

• 在实习期间可以深入了解大模型评测这一新兴领域，积累benchmark构建、自动化评测体系研发的实战经验，为未来从事LLM相关算法工作打下坚实基础
• 表现优秀者有机会获得转正offer，加入阿里巴巴未来生活实验室，继续深入参与大模型核心应用的研发
• 该岗位积累的评测经验可向大模型算法工程师、AI应用研发工程师、数据科学家等方向横向发展
• 负责大模型核心应用的评测算法研发，包括构建和优化benchmark评测集，参与评测框架的设计与搭建
• 参与构建和扩充高质量的评测数据集，打通线上/线下的数据沉淀链路，为评测体系提供数据基础
• 研发和调优基于LLM-as-a-Judge的自动化评测体系，提升评测指标的置信度与对齐率
• 对评测和竞品横评中的Badcase进行归因分析，为算法模型的迭代提供数据支撑和优化建议
• 扎实的Python编程基础，熟悉Pandas等数据处理库，具备良好的代码习惯和自动化脚本编写能力
• 对大语言模型（LLM）和AI应用有浓厚兴趣，了解NLP、大模型微调、RAG等方向的基础知识
• 了解大模型评测基础理论，接触过DeepEval、Ragas、TruLens等任一评测框架者优先
• 具备良好的科研学习能力，能够主动跟进领域前沿技术，有论文撰写或竞赛获奖经历者优先

申请策略

• 在投递简历时，可以附上一份对大模型评测领域的简要分析或想法，展示你的热情和思考深度
• 面试时多展现你对LLM和AI应用的兴趣，以及快速学习新知识的能力
• 突出大模型相关项目或科研经历，如NLP课程项目、大模型微调、RAG应用开发等，并说明你的具体贡献
• 强调Python编程能力，特别是Pandas等数据处理库的使用经验，可附上代码仓库或自动化脚本案例
• 如有使用DeepEval、Ragas等评测框架的经验，或参与过数据标注、评测集构建，务必重点提及
• 如有论文发表或竞赛获奖经历，可以突出展示，体现科研学习能力
• 提前学习大模型评测的基础理论，了解LLM-as-a-Judge、RAG Evaluation等概念，并动手尝试使用DeepEval或Ragas框架
• 复习Python数据处理相关技能，熟悉Pandas、NumPy等库，并练习编写自动化脚本

面试指南

• 对于技术概念题，建议先给出定义，再结合自己的理解或项目经验进行阐述，最后可以提出自己的思考或改进方向
• 对于设计类问题，可以按照“明确目标-拆解步骤-选择工具-评估结果”的逻辑框架来回答，展示结构化思维
• 对于项目经历题，可以使用STAR法则（情境、任务、行动、结果）来清晰描述，突出你的个人贡献和量化成果
• 请介绍一下你了解的大模型评测方法或框架？
• 如何设计一个评测集来评估大模型在RAG场景下的表现？
• 你如何理解LLM-as-a-Judge？它有哪些优缺点？
• 请描述一个你使用Python处理数据的项目，并说明你如何保证代码质量
• 你如何看待大模型评测领域未来的发展趋势？