深度求索
数据开发工程师（数据工程与数仓架构方向）
数据开发工程师（数据工程与数仓架构方向）
发布于 5 天前普通员工/个人贡献者
杭州市
中级经验
全职员工
仅现场办公
本科
软件工程
SQL
数据仓库
ClickHouse
湖仓一体
AI 估算 · 20k–35k
杭州数据开发1-5年经验，B轮AI公司，技术栈前沿，薪资具竞争力，预估中位数27.5k/月
职位详情
关于这个职位
你将成为 DeepSeek 核心产品的数据架构建设者，负责从 Kafka 数据接入、湖仓一体的离线/实时处理，到 BI 平台应用的全链路数据开发
你将深度参与数仓建模与治理，使用 Spark、Flink、Iceberg 等前沿技术栈，直接支撑业务数据分析需求，驱动数据价值落地
团队扁平开放，技术氛围浓厚，是早期数据团队成员，成长空间巨大
最低要求
本科及以上学历，计算机、软件工程、数学等相关专业，1～5 年数据开发/数据工程/数仓建设工作经验
扎实的大数据组件基础：熟练掌握 Spark、Flink 的开发与日常调优，有实际的线上任务排错经验
熟悉 Kafka 消息队列的使用与性能特性
熟悉 ClickHouse / DuckDB / StarRocks / Doris / TiFlash 等至少一种 OLAP 引擎
熟悉 Iceberg / Delta Lake 等至少一种数据湖技术，以及 Parquet / Avro / Arrow 等至少一种数据格式的原理与应用
优秀的建模能力：熟悉数仓分层架构（ODS/DWD/DWS/ADS）与维度建模理论，有扎实的 SQL 功底，能独立完成从埋点日志到业务指标的数据建模
编程语言：除精通 SQL 外，熟练掌握 Java / Scala / Python 中的至少一种
能熟练使用 Python / Shell 解决日常自动化问题，并对学习 Rust / Golang 抱有热情
软素质：有自驱力，具备优秀的“技术品味”和技术热情
突出的 Owner 意识与沟通表达能力，能清晰梳理复杂的业务数据需求
工作职责
数据全链路开发：负责数据Pipeline的设计、开发、部署与日常运维，主导全链路（后端Kafka上报 -> Parquet/Iceberg 归档清洗 -> BI平台应用）的落地上线
实时与离线数据计算：深入业务场景，使用 Flink / Kafka Connector 等流处理框架，开发高稳定性的实时数据流
使用Spark开发高效的离线数据处理任务
数据仓库建模与治理：负责从底层原始埋点数据、中间明细层（DWD/DWS）到顶层业务指标表（ADS）的数仓建模与规范建设，保障数据质量与口径一致性
业务支持与赋能：深度对接业界领先的数据平台，为业务线提供强有力的数据分析底层能力支撑
架构优化与稳定性建设：站在数据视角，主动发现现有计算任务和数据架构中的瓶颈，提出并落地关于性能提升、链路稳定性、资源优化的解决方案
优先资格
加分项：了解主流 Chatbot / Agent 产品业务逻辑，并具备相应的数据建模经验
AI Native：习惯拥抱 AI，能熟练使用现有 AI 工具（如 Claude / Cursor / GitHub Copilot 等）辅助日常开发工作
AI 洞察
优缺点分析
优点
- 技术栈前沿（Spark、Flink、Iceberg、湖仓一体），能积累高含金量的大数据工程经验
- 公司属于 AI 赛道明星企业，业务增长迅速，数据团队早期加入，晋升空间大
- 团队扁平开放，鼓励技术探索和 Owner 意识，个人影响力能快速体现
- 全链路数据开发涉及实时、离线、建模、运维多个方面，对技术广度和深度要求高
- 早期团队可能职责范围较广，需要较强的自驱和多任务并行能力
- AI 公司业务迭代快，数据需求可能频繁变更，需要快速适应
- 适合有 1-5 年大数据开发经验、渴望接触前沿技术、追求快速成长和技术影响力的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 在扁平团队中快速成长为数据架构师，主导更大 scope 的数据体系设计
- 深入前沿湖仓一体、流批一体技术，成为技术专家
- 有机会跨团队协作，向数据产品经理或技术管理方向发展
- 设计并搭建数据管道，将后端埋点数据通过 Kafka 接入，使用 Spark/Flink 进行实时与离线处理，最终在 BI 平台支撑业务分析
- 参与数仓模型设计，从原始数据到中间层再到指标层，保障数据质量和一致性
- 优化现有数据任务和架构，解决性能瓶颈，提升链路稳定性与资源利用率
- 扎实的大数据组件基础：熟练使用 Spark、Flink、Kafka，了解至少一种 OLAP 引擎和数据湖技术
- 优秀的数仓建模能力：熟悉分层架构与维度建模，SQL 功底深厚
- 至少精通 Java/Scala/Python 一种编程语言，能使用 Python/Shell 自动化
- 自驱力强，有技术热情和 Owner 意识，沟通表达清晰
申请策略
- 在求职信中表达对数据工程和 AI 结合的兴趣，以及对 DeepSeek 产品的了解
- 准备一个复杂数据链路问题的解决复盘，展示技术品味和交付意识
- 突出大数据项目经验，特别是 Spark/Flink 实战、数仓建模案例，用数据说明性能优化效果
- 展示 SQL 功底和编程能力，附上 GitHub 或技术博客链接
- 体现 Owner 意识：描述如何主动发现问题并推动解决方案落地
- 若对 Iceberg 或湖仓一体不熟，可快速学习相关概念并做小项目
- 熟悉 AI 工具（如 Claude、Copilot）的使用，体现 AI Native 特质
- 补充 Chatbot/Agent 业务理解，增加加分项竞争力
面试指南
- STAR 法则：描述情境、任务、行动、结果，突出技术难点和你的贡献
- 技术选型对比：解释为什么选择某技术（如 Flink vs Spark Streaming），体现技术视野
- 问题解决思路：从发现问题、分析 root cause、设计解决方案、验证效果等步骤展开
- 请详细描述你设计过的一个数据管道，包括技术选型、架构和遇到的挑战
- 如何保证实时流处理的数据一致性和 exactly-once 语义？
- 数仓建模中如何设计维度表和事实表？请举例说明缓慢变化维的处理
- 在 Spark 任务调优中，你常用哪些参数或策略？
- 你是否使用过 AI 工具辅助开发？请举例说明如何提升效率
匹配度报告
72
综合匹配度
前沿AI公司数据团队，技术栈新、成长快、薪资优，但WLB尚不明确。
适合人群
最适合追求技术快速成长、渴望接触前沿大数据架构、愿意在创业早期投入的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利70
成长发展90
工作生活50
使命价值80
薪资福利匹配
70中等
薪资虽未明确，但 B 轮 AI 公司通常提供有竞争力的薪酬和期权，整体补偿水平较好。
薪资信号未披露（AI估算：20K-35K/月）
成长发展匹配
90较高
技术栈前沿、团队早期、成长路径清晰，是技术深度和广度快速提升的绝佳机会。
技术前沿前沿/新兴技术
技术栈Spark、Flink、Kafka、ClickHouse、Iceberg、湖仓一体、流批一体、存算分离
成长机会清晰的成长路径、主导更大scope
业务类型profit_center
工作生活匹配
50较低
未明确远程或弹性工作制度，杭州科技园办公，加班情况不明，生活平衡存在不确定性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值匹配
80较高
AI 核心产品，技术创新驱动，对行业有较大影响力，工作意义感强。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs