小红书
【Ace顶尖实习生】Dots-大模型评测算法研究员
【Ace顶尖实习生】Dots-大模型评测算法研究员
发布于 2 小时前实习/见习
实习生仅现场办公数据标注与评测
数据标注与评测
Llm-As-Judge
Rlhf
大语言模型
数据Pipeline
数据分析
自动化评测
值不值得投
80综合评分
综合评分 80
大模型核心评测岗，技术前沿且成长空间极大，适合追求技术深度的顶尖实习生。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
9千
比数据标注与评测中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1420 个在招
市场机会
选择不多
上海 · 数据标注与评测 · 3 个在招
职位详情
关于这个职位
该职位主要负责大语言模型的多维度能力评测体系设计与迭代，包括构建评测数据集、开发自动化评测平台以及跟踪前沿评测技术
你需要与后训练团队紧密合作，为模型发布提供质量卡点和数据支撑，推动模型能力的持续进化
最低要求
对大语言模型能力边界有清晰认知，知道“什么是好模型”、“好在哪”
熟悉主流 benchmark 的设计哲学和局限，不只是会跑分，而是能看出分数的含义
有数据处理与工程能力（Python 熟练，熟悉数据 pipeline 工具，能搭自动化流程）
扎实的统计与分析能力，能从噪声数据里看出信号
优秀的书面表达
工作职责
设计并迭代 dots 模型的多维度能力评测体系，覆盖通用能力（推理、数学、代码、语言理解）、指令遵循、长上下文、多模态、安全性、人类偏好等维度
跟踪主流公开 benchmark（MMLU、MATH、GSM8K、HumanEval、MBPP、ARC、HellaSwag、GPQA、Arena ELO等），建立内外部对齐机制，输出可比的竞争力报告
构建评测数据集生产 pipeline：从采集、清洗、标注、质检到版本化管理，保证数据集的质量与时效性
开发自动化评测平台：统一的评测入口、任务调度、结果可视化、版本对比、diff 分析
与后训练团队（RLHF/对齐）合作，定义 reward model 和 preference 数据的评测标准
设计“抗污染”策略，防止评测数据集泄露到训练集
参与模型发布的质量卡点（gate），为版本上线提供数据支撑
跟踪前沿评测研究（LLM-as-judge、multi-turn eval、agent评测、长程任务评测等），推动评测能力持续进化
AI 洞察
优缺点分析
优点
- 深入大模型核心评测环节，能全面理解模型能力边界与前沿技术
- 参与顶尖大模型的研发迭代，积累稀缺的LLM评测与对齐经验
- 需要快速跟进日新月异的评测前沿研究，对技术敏感度和学习能力要求极高
- 适合对大模型底层逻辑有浓厚兴趣，具备扎实工程能力与数据分析功底，且追求在AI前沿领域深耕的求职者
缺点 / 挑战
- 评测数据集的构建与抗污染策略设计具有较高的工程与逻辑难度
角色解读
- 从评测算法研究员成长为大模型评测专家或算法架构师
- 未来可向大模型后训练、对齐算法或AI产品策略方向横向发展
- 设计并迭代大模型的多维度评测体系，涵盖推理、代码、多模态等核心能力
- 构建评测数据集与自动化评测平台，与后训练团队合作定义评测标准，为模型发布提供质量卡点
- 熟练掌握Python及数据Pipeline工具，具备扎实的数据处理与工程能力
- 深入理解大语言模型能力边界及主流Benchmark的设计哲学，具备优秀的统计分析与书面表达能力
申请策略
- 准备一份关于某个主流Benchmark局限性分析或评测数据集构建思路的个人报告，能极大增加面试亮点
- 突出Python数据处理与自动化流程搭建经验，展示参与过的数据Pipeline或评测相关项目
- 强调对主流LLM Benchmark的理解及实际跑分、分析经验
- 提前熟悉LLM-as-judge、Agent评测等前沿评测方法，了解RLHF及Reward Model的基本原理
面试指南
- 采用STAR法则，结合具体项目经历，重点突出对问题的深度思考（如Benchmark局限性的本质原因）以及工程落地能力（如Pipeline的架构设计）
- 你如何理解MMLU或MATH等主流Benchmark的设计哲学与局限性？
- 如何设计一个自动化评测平台来处理高并发的模型推理任务？
- 在构建评测数据集时，你会采取哪些策略来防止数据污染？
- 请分享一个你从噪声数据中挖掘出有效信号的数据分析案例
- 深入阅读近期关于LLM评测的顶会论文，并亲手跑通几个开源Benchmark的代码，形成自己的评测方法论
职位点评
薪资福利75
成长发展95
工作生活60
使命价值85
薪资福利
75中等
作为顶尖实习生项目，津贴水平在同类实习中处于较高位置，但实习岗位本身不具备正式员工的长期薪资与福利优势。
薪资信号未披露（AI估算：6千–1.2万/月）
成长发展
95较高
处于大模型核心技术环节，能接触到最前沿的评测研究与对齐技术，技术成长空间与视野极佳。
技术前沿前沿/新兴技术
技术栈Python、LLM、Benchmark、RLHF、Reward Model、LLM-as-judge
业务类型ambiguous
工作生活
60中等
实习岗位通常工作节奏较快，且未明确提及弹性工作或WLB相关福利，需做好应对高强度研发任务的准备。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
参与通用人工智能底层能力的评测与进化，推动大模型向更安全、更符合人类偏好的方向发展，具有较高的技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs