大模型预训练评测研发实习生

优缺点分析

角色解读

• 深入掌握AI模型评测方法论与工程实践，成为AI评测或AI Infra领域的专家
• 积累大型模型研发项目的核心经验，为未来从事算法研究员、数据科学家或AI工程师等岗位打下坚实基础
• 通过实习表现优秀，有机会获得全职工作录用，直接加入公司核心研发团队
• 建设与维护用于评估大语言模型和多模态模型能力的Benchmark数据集与评测体系
• 开发、优化自动化评测框架与工具，提升模型评测的效率、稳定性和可扩展性
• 分析模型在不同阶段和测试用例下的表现，识别其优势与短板，为模型迭代提供数据支撑
• 使用Python及各类AI工具链，处理评测数据，并参与AI基础设施相关的工程开发
• 扎实的Python编程能力，熟悉基本数据处理和软件工程实践
• 对大语言模型、多模态模型及预训练评测流程有基本认知和浓厚兴趣
• 熟悉PyTorch等深度学习框架，了解vLLM等推理优化工具
• 具备良好的问题分析、数据敏感度和沟通协作能力

申请策略

• 在简历或求职信中，明确表达你对AI评测方向的理解和兴趣，并思考你可能感兴趣的细分方向（如Benchmark建设或框架开发）
• 关注米哈游的技术博客或公开分享，了解其在AI领域的技术动向，以便在面试中展示你的主动性
• 重点突出Python编程项目、课程设计或个人作品，展示工程实践能力
• 描述任何与数据处理、数据分析、模型训练或评测相关的项目或研究经历
• 如果有AI相关开源贡献、竞赛经历或论文，务必在简历中体现
• 强调你的学习能力、自驱力以及对大模型技术的热情，可附上技术博客或GitHub链接
• 系统复习Python基础及常用库（如Pandas, NumPy），确保编码熟练度
• 通过阅读论文、教程，深入理解主流大语言模型和多模态模型的原理与评测方法（如MMLU, C-Eval等Benchmark）

面试指南

• 回答技术理解问题时，结合具体模型（如GPT-4, LLaMA）或Benchmark（如HumanEval）进行阐述，并说明其评测维度和意义
• 描述项目经历时，采用STAR法则（情境、任务、行动、结果），突出你的技术选型、问题解决过程和最终成果
• 回答开放性问题时，从系统性、可扩展性、可复现性等角度出发，展示你的工程化思维
• 你对大语言模型和多模态模型有哪些了解？能否简述一个你印象深刻的模型评测Benchmark？
• 请描述一个你使用Python完成的数据处理或工程开发项目，遇到了什么挑战，如何解决的？
• 如果让你设计一个简单的LLM评测自动化流程，你会考虑哪些关键环节？
• 你如何看待AI模型评测工作的重要性？你认为一个好的评测体系应该具备哪些特点？
• 你的优缺点是什么？未来的职业规划是什么？