小红书
【2027校招】Dots-大模型评测算法研究员
【2027校招】Dots-大模型评测算法研究员
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Benchmark评测
Rlhf
大语言模型
数据Pipeline
数据集构建
统计分析
自动化评测平台
值不值得投
81综合评分
综合评分 81
核心大模型团队校招岗，技术前沿且成长空间大，薪资竞争力强，但工作强度需进一步确认。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
薪资怎么样
3.3万
比人工智能中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 1410 个在招 · 其中人工智能 56 个
市场机会
选择面较广
北京 · 人工智能 · 约 610 个在招
职位详情
关于这个职位
该职位主要负责小红书大模型（Dots）的多维度能力评测体系设计与迭代，包括构建评测数据集、开发自动化评测平台以及跟踪前沿评测技术
你需要与后训练团队紧密合作，为模型发布提供质量卡点和数据支撑，确保模型能力的持续提升
最低要求
对大语言模型能力边界有清晰认知，知道“什么是好模型”、“好在哪”
熟悉主流 benchmark 的设计哲学和局限，不只是会跑分，而是能看出分数的含义
有数据处理与工程能力（Python 熟练，熟悉数据 pipeline 工具，能搭自动化流程）
扎实的统计与分析能力，能从噪声数据里看出信号
优秀的书面表达
工作职责
设计并迭代 dots 模型的多维度能力评测体系，覆盖通用能力（推理、数学、代码、语言理解）、指令遵循、长上下文、多模态、安全性、人类偏好等维度
跟踪主流公开 benchmark（MMLU、MATH、GSM8K、HumanEval、MBPP、ARC、HellaSwag、GPQA、Arena ELO等），建立内外部对齐机制，输出可比的竞争力报告
构建评测数据集生产 pipeline：从采集、清洗、标注、质检到版本化管理，保证数据集的质量与时效性
开发自动化评测平台：统一的评测入口、任务调度、结果可视化、版本对比、diff 分析
与后训练团队（RLHF/对齐）合作，定义 reward model 和 preference 数据的评测标准
设计“抗污染”策略，防止评测数据集泄露到训练集
参与模型发布的质量卡点（gate），为版本上线提供数据支撑
跟踪前沿评测研究（LLM-as-judge、multi-turn eval、agent评测、长程任务评测等），推动评测能力持续进化
AI 洞察
优缺点分析
优点
- 处于大模型核心赛道，评测是模型迭代的关键环节，能深入理解模型能力边界
- 接触前沿评测技术（如LLM-as-judge、Agent评测），技术视野开阔
- 能参与核心业务落地，技术成果直接影响产品体验
- 评测体系设计需要极强的业务理解和技术深度，平衡主观偏好与客观指标难度较大
- 大模型技术迭代极快，需要持续跟踪前沿研究并保持评测方法的更新
- 适合对大模型有深刻理解、具备扎实工程与数据分析能力，且对模型评测与对齐方向有浓厚兴趣的应届生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从初级评测算法研究员成长为评测体系架构师或大模型质量负责人
- 未来可向大模型对齐、RLHF或核心算法研发方向横向拓展
- 设计并迭代大模型的多维度评测体系，跟踪主流Benchmark并输出竞争力报告
- 构建评测数据集生产Pipeline，开发自动化评测平台
- 与后训练团队合作定义评测标准，参与模型发布的质量卡点
- 熟悉大语言模型能力边界及主流Benchmark的设计哲学
- 具备扎实的Python数据处理与工程能力，能搭建自动化流程
- 拥有优秀的统计分析与书面表达能力
申请策略
- 了解小红书大模型（Dots）的最新进展和公开技术博客，在面试中展现对模型能力边界的独立思考
- 突出在大模型、NLP或相关领域的科研/项目经历，特别是涉及模型评测、数据集构建或RLHF的经验
- 展示Python数据Pipeline搭建和自动化脚本开发能力
- 体现对主流Benchmark的深入理解或复现经验
- 深入学习LLM-as-judge、多轮对话评测、Agent评测等前沿评测方法
- 提升Python工程能力，熟悉数据版本化管理和自动化调度工具
面试指南
- 采用“背景-问题-方案-结果”框架
- 对于评测体系设计，从维度划分、指标定义、数据集构建到自动化执行进行系统性阐述
- 对于防污染策略，从数据采集、清洗、去重到版本化管理全链路分析
- 如何设计一个全面且客观的大模型多维度评测体系？
- 在构建评测数据集时，如何有效防止数据污染（Data Contamination）？
- 谈谈你对主流Benchmark（如MMLU、GSM8K）局限性的理解，以及如何改进？
- 如何设计自动化评测平台以支持高并发的模型评测任务？
- 在RLHF/对齐过程中，如何定义Reward Model的评测标准？
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
该岗位为大模型算法方向，技术门槛高且属于当前市场热门领域，一线城市同类岗位薪资竞争力较强，能较好满足补偿性动机。
薪资信号未披露（AI估算：2.5千–4万/月）
成长发展
90较高
岗位处于大模型前沿领域，能接触到最新的评测技术和对齐方法，技术成长空间极大，发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈大语言模型、Benchmark、RLHF、Python、数据Pipeline、LLM-as-judge
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式和WLB信息，作为核心算法研发岗，生活化动机满足度中等，需结合实际工作节奏评估。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
大模型评测是推动AI技术安全、可靠落地的关键环节，涉及安全性与人类偏好对齐，具有较高的社会价值和行业使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号安全性、人类偏好
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
Watch Jobs