Token Foundry-预训练模型评测算法工程师-Qwen基础模型

优缺点分析

角色解读

• 在阿里巴巴核心AI团队中，可以深入参与前沿大模型的研发，成为评测领域的专家
• 有机会与业界顶尖的研究人员和工程师合作，发表顶会论文，提升个人学术影响力
• 随着大模型技术的持续发展，评测岗位的重要性日益凸显，职业发展空间广阔，可向技术专家或技术管理方向发展
• 设计并构建用于评估预训练模型（如Qwen）在编码、长尾知识等能力上的自动化评测方案和高质量数据集
• 整合公开和私有评测集，为不同训练阶段和优化目标定制评测方案，选择最合适的评测数据和指标
• 与工程团队合作，提升评测系统的效率和稳定性，并推动评测流程的自动化和可视化
• 参与设计预训练+LightSFT的数据配比和训练策略，并构建相关pipeline，以实时监控模型的agentic潜力
• 扎实的算法基础和优秀的编程能力，特别是Python，并具备(vibe-) coding的动手能力
• 对LLM评测、Benchmark构建或数据合成有深入理解和实践经验
• 具备优秀的数据sense，能够从数据中洞察模型弱点并设计有效的评测方案
• 良好的沟通能力和团队协作精神，能够与数据、工程团队紧密配合

申请策略

• 在申请时，可以表达你对Qwen模型或阿里AI Lab的关注和理解，展示你的研究兴趣与团队方向的契合度
• 准备一个关于评测方案设计的案例，在面试中展示你的数据sense和问题解决能力
• 突出LLM评测、Benchmark构建或数据合成的相关项目经验，并详细描述你在其中的具体贡献和成果
• 强调扎实的算法基础和编程能力，可以附上GitHub链接或相关代码示例
• 如果有相关领域的顶会论文或基模团队实习经历，务必在简历中显著位置展示
• 体现你对基础模型和Agent研发的热情，以及你对评测价值的理解
• 系统学习LLM评测领域的最新研究，了解主流评测集（如MMLU, HumanEval）的构建方法和优缺点
• 动手实践数据合成技术，尝试构建针对特定能力（如编码、长文本）的评测数据集

面试指南

• 回答项目经验时，可以采用STAR法则（情境-任务-行动-结果），清晰展示你的思考过程和实际成果
• 对于评测设计问题，可以从评测目标、数据构建、指标选择、结果分析等维度进行系统阐述，体现你的数据sense和逻辑性
• 对于开放性问题，可以结合你对LLM领域前沿的了解，提出有深度的见解，并展现你的学习热情
• 请介绍一个你构建过的LLM评测集或Benchmark，包括设计思路、数据来源和评估指标
• 如何评估一个预训练模型在长尾知识上的能力？你会设计哪些评测任务和指标？
• 在评测过程中，如果发现模型在某个任务上表现不佳，你会如何分析原因并推动改进？
• 你如何看待评测在模型迭代中的作用？如何设计一个高区分度的评测集？
• 请谈谈你对Agent评测的理解，以及如何评测一个Agent的agentic潜力？