阿里巴巴
日常实习生-大模型数据评测-Qwen基础模型
日常实习生-大模型数据评测-Qwen基础模型
发布于 3 小时前实习/见习
实习生仅现场办公数据标注与评测
数据标注与评测
Nlp
Prompt Engineering
Rlhf
Sft
大语言模型
数据分析
数据评测
值不值得投
70综合评分
综合评分 70
顶尖大厂前沿AI技术实习，重技能成长与挑战，适合有志于AI研发的学霸
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
1.0千
比数据标注与评测中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 4240 个在招 · 其中数据标注与评测 55 个
市场机会
选择适中
北京 · 数据标注与评测 · 40 个在招
职位详情
关于这个职位
作为Qwen大模型的数据评测实习生，你将构建端到端的评测数据工作流，设计覆盖通用能力、推理及Agent等方向的Benchmark
你需要结合自动化与人工评估建立质量框架，分析模型短板并优化数据管线，为模型迭代提供核心数据支撑
最低要求
计算机科学、人工智能、电子工程、数学、统计学等相关专业本科及以上学历，硕士优先
具备良好的编程与工程实现能力，熟悉Python，掌握常用数据处理与脚本工具，能独立完成数据处理、统计分析和小型评测工具开发
具备系统性的数据分析与任务设计能力，理解评测任务设计对模型能力判定的影响，能兼顾整条评测数据管线，而不只是分析末端结果
在自然语言处理、大语言模型、Agent、计算机视觉等方向具有良好知识基础，熟悉主流评测指标、评测方法与开源benchmark，理解准确率、F1、胜率、指令遵循率等指标背后的适用边界
熟悉LLM后训练范式（如SFT、RL），并对“评测数据如何反映模型真实能力、如何影响训练决策”有可用的直觉
对标注规范、数据质量、评测可复现性有较强的敏感度和责任心，能够写出清晰、可执行的评测任务说明与质量校验规则
工作职责
构建端到端的评测数据工作流，从评测任务设计、样本构造、质量校验到交付上线，确保每个环节产出的数据能有效支撑SFT、RL、模型选型与能力迭代
设计并维护覆盖通用能力、指令跟随、推理、代码、Agent工具调用、多语言等方向的评测数据集与benchmark，持续补充模型当前暴露出的薄弱场景
搭建自动化评估与人工评测相结合的数据质量框架，在数据生产、校验、评审过程中提前发现偏置、噪音、重复与泄漏问题，并建立可落地的反馈闭环
参与评测结果分析与错误案例归类，提炼模型能力短板与失败模式，输出可沉淀的评测方法论、评测标准或复用工具
与算法、标注团队协作改进评测数据管线，在不牺牲质量的前提下，通过结构性、方法性改动提升数据生产效率与评测可信度
优先资格
具备良好的科研能力，在相关领域国际顶级会议（ACL、EMNLP、CVPR、ICCV、NeurIPS、ICLR、AAAI等）有论文发表者优先
拥有数据建模、Kaggle等竞赛获奖经历，或拥有知名开源项目贡献经历，在开源社区具有一定影响力者优先
AI 洞察
优缺点分析
优点
- 接触最前沿的大模型底层数据建设，拥有极高的技术视野和行业含金量
- 对理论基础要求极高，需同时懂算法逻辑和数据工程，工作强度较大
- 计算机/AI相关专业在校生，有科研背景或竞赛奖项，对LLM有浓厚兴趣者
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI算法研究员、数据科学家或大模型训练专家方向发展，积累前沿AI数据治理经验
- 负责设计和构建大模型（如Qwen）的评测数据集与基准测试（Benchmark）
- 熟练掌握Python进行数据处理，深入理解NLP、LLM原理及RLHF/SFT等训练范式
申请策略
- 准备展示你对‘评测数据如何影响模型训练’的理解，这是面试官考察的核心思维
- 突出Python数据处理能力、NLP/LLM相关知识储备，以及任何相关的科研论文或Kaggle竞赛经历
- 复习RLHF、SFT等训练流程，了解主流LLM评测指标（如Accuracy, F1, Win Rate）的计算逻辑
面试指南
- 采用STAR法则（情境、任务、行动、结果）回答项目经历
- 对于技术问题，先阐述概念，再结合实际应用场景说明
- 你如何设计一个评测LLM代码能力的Benchmark？
- 什么是RLHF？它在模型训练中起什么作用？
- 如何处理评测数据中的偏差（Bias）和泄露（Leakage）？
- 请描述一次你使用Python进行复杂数据分析的经历
- 熟悉至少一个主流开源LLM（如Llama, Qwen）的基本特性，阅读几篇关于LLM评测方法的顶会论文摘要
职位点评
薪资福利70
成长发展95
工作生活40
使命价值85
薪资福利
70中等
大厂实习津贴通常高于市场平均水平，但实习性质决定了长期稳定性有限。
薪资信号未披露（AI估算：0.3–0.4千/月）
成长发展
95较高
直接参与头部大厂核心大模型的数据评测体系建设，技术栈前沿，成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM、RLHF、SFT、Python、NLP、Agent
业务类型profit_center
工作生活
40较低
互联网大厂核心研发部门通常节奏较快，实习期虽无强制加班文化，但项目导向可能导致高强度投入。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
85较高
致力于让大模型服务真实世界，推动AI技术进步，具有显著的社会价值和行业前瞻性。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号让大模型真正服务于真实世界
创新程度开拓性创新（行业首创）
Watch Jobs