快手
大模型数据工程师
大模型数据工程师
发布于 大约 19 小时前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
Faiss
Rag
Sql
向量检索
数据质量
值不值得投
79综合评分
综合评分 79
前沿AI数据工程岗，技术成长空间大，业务价值高，但需适应可能的高强度工作节奏。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
40K
比数据工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2340 个在招 · 其中数据工程 12 个
市场机会
选择面较广
北京 · 数据工程 · 约 110 个在招
职位详情
关于这个职位
负责大模型数据底座的三大核心工程：训练数据工程（确保模型学习质量）、知识库工程（支撑Agent精准检索）以及记忆系统工程（实现系统记忆能力）
工作将贯穿从数据处理到知识管理、记忆系统构建的全链路，是支撑公司大模型能力的关键角色
最低要求
本科及以上学历，计算机、统计、信息工程等相关专业
熟练使用 Python，有数据处理实际经验（Pandas / Spark / SQL 均可）
对数据质量有洁癖，理解脏数据对模型的影响
能用 AI 工具加速数据脚本开发，有用 Vibe Coding 方式快速搭建数据 Pipeline 的经验或意愿
工作职责
【训练数据工程】
参与大模型训练数据的采集、清洗、去重、质量过滤的全链路建设，覆盖文本、图文、行为序列等多类型数据
设计并实现数据质量评估体系，包括规则过滤、模型打分、人工标注一致性分析
参与数据飞轮闭环建设，从线上反馈信号到数据回流、再到模型迭代的自动化链路
基于 Spark / Flink / Ray 等框架构建高吞吐数据处理 Pipeline，支撑 TB 级数据规模
【知识库工程】
参与知识库的工程建设，包括知识采集、结构化抽取、Schema 设计、增量更新 Pipeline
构建知识条目的质量检测与覆盖率监控体系，保障知识的准确性与新鲜度
与 Agent 团队协作，优化知识在 RAG 链路中的召回率与命中精度，闭环分析 bad case
设计知识库的版本管理与回滚机制，支持多业务场景下的差异化知识配置
【记忆系统工程】
参与AI 记忆系统的工程实现，包括用户记忆、会话记忆、场景记忆的写入、检索、更新、淘汰全链路
设计记忆存储方案，在向量数据库、KV 存储、结构化 DB 之间做合理分层，兼顾检索效率与存储成本
构建记忆质量评估体系，包括记忆准确性、召回相关性、对下游 Agent 任务的增益指标
研究记忆压缩、记忆蒸馏、长期记忆管理等前沿方向，结合业务场景落地
优先资格
有大规模数据 ETL 或数据仓库开发经验
熟悉 Ray Data / Dask / Spark 等分布式数据处理框架
了解大模型数据预处理标准流程（如 RedPajama、Dolma、FineWeb 等开源数据集的构建方法）
理解 RAG 原理，有向量检索（Faiss / Milvus / Elasticsearch）实际使用经验
了解大模型 Memory 机制的主流方案（MemGPT、Zep、mem0 等），或有相关工程实现经验
理解主动学习（Active Learning）或数据选择（Data Selection / Curriculum Learning）方法
有用 AI 工具生成、验证、调试数据处理代码的完整经历，能说清楚 AI 在你工作流中扮演的角色
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与大模型数据底座建设，接触训练数据、RAG、记忆系统等AI核心领域，技术成长空间大
- 业务价值高：工作成果直接影响大模型的核心能力，对公司AI战略有直接贡献，容易获得认可
- 平台资源：作为头部互联网公司，能接触到海量数据资源和先进的技术基础设施
- 技术复杂度高：需要同时理解数据工程、知识工程和AI系统，对综合能力要求高，学习曲线陡峭
- 需要持续学习：AI领域技术迭代快，需要不断跟进前沿技术（如记忆系统、数据选择方法等）
- 适合对数据有热情、有扎实工程基础、对AI前沿技术有好奇心、并追求技术深度和业务影响力的数据工程师
缺点 / 挑战
- 工作强度可能较大：作为支撑大模型的核心岗位，可能面临快速迭代和解决问题的压力
角色解读
- 纵向深入：成为数据工程或知识工程领域的专家，专注于特定方向（如向量检索、记忆系统）的技术攻坚
- 横向拓展：向AI系统工程师、数据科学家或技术产品经理方向发展，参与更全面的AI产品构建
- 管理方向：积累项目经验后，可转向技术团队管理岗位
- 负责大模型训练数据的全链路工程，从数据采集、清洗到质量评估，确保模型训练数据的质量和规模
- 构建和管理知识库，实现知识的结构化抽取、质量监控，并与RAG系统结合优化知识检索效果
- 参与AI记忆系统的工程实现，设计存储方案并研究记忆管理的前沿技术，让系统具备有效记忆能力
- 扎实的Python编程能力和数据处理经验，能熟练使用Pandas、Spark、SQL等工具
- 熟悉分布式计算框架（如Spark、Flink、Ray），具备构建高吞吐数据管道的能力
- 对数据质量有深刻理解和实践经验，能够设计并实施有效的质量评估体系
- 有利用AI工具辅助开发的意识和实践能力，理解其在提升工程效率中的作用
申请策略
- 在简历或面试中，表现出对“数据质量”的极致追求和思考，这是JD反复强调的核心特质
- 提前了解RAG和AI记忆系统（如MemGPT）的基本概念，以便在面试中展现你的技术热情和学习能力
- 思考并准备如何用AI工具优化自己的工作流，这符合岗位对“Vibe Coding”的期待
- 突出处理大规模数据的项目经验，具体说明数据量级、处理框架（Spark/Flink/Ray）和解决的实际问题
- 强调对数据质量的追求，举例说明如何设计和实施数据质量评估或清洗方案
- 如有相关经验，详细描述知识库构建、RAG系统优化或任何与向量检索、记忆系统相关的实践
- 展示使用Python及相关生态（Pandas、SQL）解决复杂数据问题的能力
- 深入学习分布式数据处理框架（如Ray Data, Dask）和向量数据库（如Milvus）的原理与使用
面试指南
- 回答技术问题时，采用“问题-方案-结果-反思”的框架
- 先说明背景和挑战，再阐述你的技术选型和设计思路，最后展示成果并总结经验教训
- 对于系统设计类问题，可以围绕“数据流-关键模块-质量保障-迭代优化”的逻辑展开
- 先画出整体流程，再深入关键环节的设计，并强调如何监控和改进
- 对于AI工具使用类问题，要具体说明使用场景（如生成数据清洗脚本）、带来的效率提升，同时客观分析其可能产生的错误或局限性，体现你的工程严谨性
- 请描述一个你处理过的最大规模的数据任务，你遇到了什么挑战，是如何解决的？
- 你如何设计一个体系来保障进入大模型训练数据的高质量？从哪些维度评估？
- 如果让你为一个智能客服设计知识库，你会考虑哪些关键的工程问题？如何评估其效果？
职位点评
薪资福利75
成长发展90
工作生活65
使命价值85
薪资福利
75中等
作为已上市大厂岗位，通常具有市场竞争力的薪酬体系和完善的福利，但JD未明确薪资福利细节。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
90较高
岗位聚焦于大模型数据工程的前沿领域（训练数据、知识库、记忆系统），技术栈先进，且与核心AI业务强相关，能获得深度技术积累和可见的业务成果。
技术前沿前沿/新兴技术
技术栈Spark、Flink、Ray、RAG、Faiss、Milvus、向量检索、记忆系统
业务类型profit_center
工作生活
65中等
JD未明确说明工作模式和WLB情况。作为支撑大模型核心能力的岗位，可能面临较高工作强度和快速迭代的要求，生活平衡度存在不确定性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
岗位处于人工智能这一高速增长赛道，工作直接服务于提升大模型能力，具有较高的技术创新性和行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs