Dots-Agent数据工程

优缺点分析

角色解读

• 技术专家路线：深耕数据工程与AI数据领域，成为合成数据、数据质量或大规模训练数据系统的资深架构师
• 技术管理路线：随着经验积累，可能带领小团队负责更复杂的数据平台或AI数据基础设施建设
• 负责构建用于训练大语言模型（LLM）的合成数据生产线，特别是针对代码和数学领域
• 设计自动化系统来验证和筛选生成的数据质量，形成数据迭代闭环
• 搭建和维护能够处理海量数据（亿级样本）的分布式计算管道，确保数据从生产到消费的流畅与稳定
• 扎实的Python编程与工程能力，精通Spark、Ray等分布式计算框架
• 熟悉容器化（Docker）与安全隔离技术，能构建和管理代码执行沙箱
• 深入理解LLM的训练流程（如预训练、SFT、RLHF），了解各阶段的数据需求

申请策略

• 在面试中，可以结合具体案例，阐述你如何思考和设计一个完整的数据质量闭环系统
• 主动了解小红书在AI和大模型方面的公开技术分享或成果，以便在面试中展现你的投入度
• 详细描述参与过的大规模数据处理管道项目，突出使用的技术栈（如Spark/Ray）、处理的数据规模和解决的挑战
• 提供任何与数据质量、验证系统、自动化测试或构建数据飞轮相关的项目经验
• 如果接触过LLM训练数据、模型评估或相关数据产品，务必在简历中明确体现
• 复习并深化分布式计算框架（Spark/Ray）的实战知识，尤其是任务调度、容错和性能优化
• 学习LLM训练基础知识，重点关注数据层面：不同训练阶段（Pre-train, SFT, RL）对数据格式、质量的要求和差异

面试指南

• 对于设计类问题，建议采用‘目标分析 → 模块拆解 → 关键挑战 → 解决方案 → 验证指标’的框架来组织回答
• 对于架构问题，可以从‘需求与约束 → 技术选型 → 架构设计 → 扩展性与监控 → 运维考量’等维度展开
• 结合STAR法则（情境、任务、行动、结果）来讲述过往的项目经验，使回答更具说服力
• 如何设计一个用于生成Code/Math合成数据的Prompt构造和难度分级系统？
• 如何构建一个自动化验证器来评估生成数据的质量？请描述你的思路
• 在处理亿级样本时，如何设计分布式数据管道以保证其吞吐量、容错性和可观测性？
• LLM训练的不同阶段（Pre-train, SFT, RL）对数据格式和质量有什么不同的要求？
• 当模型在某个Code/Math任务上表现不佳时，如何反向分析并调整你的数据生产策略？