小红书
Dots-预训练评估策略
Dots-预训练评估策略
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Scaling Law
实验设计
数据分析
机器学习
深度学习
自动化Pipeline
值不值得投
71综合评分
综合评分 71
前沿AI技术岗位，薪资有竞争力，技术成长性强，但WLB待确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
与机器学习工程中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1440 个在招 · 其中机器学习工程 29 个
市场机会
选择面较广
上海 · 机器学习工程 · 约 370 个在招
职位详情
关于这个职位
该职位负责设计和建立预训练阶段的多维能力评估体系（Eval Suite），构建Loss到下游能力的映射关系，以早期预测模型最终能力
通过小规模实验为模型训练的数据配比、课程学习策略提供量化依据
并研发自动化评估管道，支持大规模、高频次的实验评估与数据分析
最低要求
计算机科学、人工智能、统计学相关专业，硕士及以上学历（或同等能力）
扎实的机器学习/深度学习基础，熟悉 Transformer 架构与预训练机制（数据、目标函数、优化策略）
熟练使用 Python，有大规模实验管理与自动化 Pipeline 搭建经验
具备较强的实验设计与数据分析能力，能通过统计方法（如置信区间、方差分析）判断评估结果的可信度
工作职责
预训练评估体系建设：设计覆盖语言理解、知识、推理、代码、数学等多维能力的预训练阶段评估体系（Eval Suite），区别于终态 SFT/RL 后的产品化评测
构建 Loss-to-Downstream 的映射关系研究，识别哪些评估指标能早期、低成本、高信噪比地预测模型最终能力
评估驱动的训练决策：通过小规模 ablation 实验+评估结果，为数据配比（如 Code/Math/多语言比例）、课程学习（Curriculum Learning）策略提供量化依据
支持 Scaling Law 实验设计与验证：结合评估结果外推不同规模、不同数据量下的能力表现
评估工程与算法：研发自动化评估 Pipeline，支持大规模、高频次（如每个 checkpoint）的评估任务调度与结果分析，解决预训练评估中的核心技术难题
AI 洞察
优缺点分析
优点
- 参与前沿 AI 预训练工作，接触大规模模型评估的最新实践
- 技术栈先进，涉及 Transformer、Scaling Law 等前沿概念
- 公司平台资源丰富，能支持大规模实验和数据处理
- 需处理高频次、大规模实验数据，对工程能力和效率要求高
- 可能涉及跨团队协作，沟通和推动决策的难度较大
- 适合对 AI 预训练和评估有浓厚兴趣，具备扎实技术基础，且乐于解决复杂工程与算法问题的求职者
缺点 / 挑战
- 评估体系设计具有较高复杂性，需要平衡多维度能力指标
角色解读
- 从评估工程师成长为高级 AI 研究员，专注于模型训练与评估领域
- 转向模型训练策略、数据工程或 AI 系统架构等更广泛的技术方向
- 在 AI 评估领域成为专家，推动预训练评估标准的行业影响力
- 负责设计预训练阶段的多维能力评估体系，覆盖语言理解、知识推理、代码数学等领域
- 通过小规模实验和数据分析，为模型训练的数据配比和课程学习策略提供量化依据
- 研发自动化评估管道，支持大规模实验调度、结果分析和核心技术难题攻关
- 扎实的机器学习和深度学习理论基础，熟悉 Transformer 架构和预训练机制
- 熟练掌握 Python 编程，具备大规模实验管理和自动化 Pipeline 搭建经验
- 较强的实验设计能力，能运用统计方法（如置信区间、方差分析）分析评估结果
申请策略
- 了解小红书的 AI 应用场景（如推荐系统、内容生成），思考评估体系如何支持业务
- 准备一个相关的研究案例或项目，展示从问题定义到解决方案的全流程
- 突出机器学习或深度学习项目经验，尤其是涉及模型训练或评估的工作
- 展示 Python 编程能力和自动化 Pipeline 搭建成果，如使用 MLflow、Airflow 等工具
- 强调实验设计和数据分析经历，包括统计方法的应用和结果解读
- 深化对 Transformer 架构、预训练机制和 Scaling Law 的理解，阅读相关论文
- 学习自动化评估工具和框架，如 Hugging Face Evaluate、自定义 Pipeline 开发
- 提升统计分析和数据可视化技能，以便更有效地处理实验结果
面试指南
- 使用 STAR 法则（情境、任务、行动、结果）结构化回答，突出问题解决过程
- 结合理论（如统计方法、机器学习原理）和实践（如项目经验）解释方法
- 强调数据驱动的决策，展示如何通过量化分析优化实验
- 如何设计一个预训练阶段的多维能力评估体系？请举例说明
- 如何通过小规模实验验证评估指标的有效性？
- 描述一个你处理过的大规模实验管理案例，你如何确保数据质量和结果可信？
- 你如何利用评估结果来指导模型训练的数据配比策略？
- 复习机器学习基础，特别是 Transformer、预训练目标函数和优化策略
职位点评
薪资福利70
成长发展80
工作生活60
使命价值75
薪资福利
70中等
JD未披露具体薪资和福利信息，但公司规模较大，可能提供市场水准的薪酬和基础福利。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
80较高
岗位涉及前沿AI预训练和评估技术，能提供技术成长机会，但JD未明确提及培训或晋升路径。
技术前沿前沿/新兴技术
技术栈预训练、评估体系、Transformer、Scaling Law、自动化Pipeline
业务类型ambiguous
工作生活
60中等
JD未提及办公模式、工作时间或WLB相关信息，工作灵活性和加班情况无法判断。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
AI领域处于高速增长赛道，预训练评估是技术创新的前沿，具有一定的社会影响力。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs