
深度求索
数据开发工程师(数据工程与数仓架构方向)
数据开发工程师(数据工程与数仓架构方向)
发布于 大约 2 个月前普通员工/个人贡献者
杭州市
中级经验
全职员工
仅现场办公
本科
软件工程
数据仓库
湖仓一体
ClickHouse
SQL
AI 估算 · 20k–35k
杭州数据开发1-5年经验,B轮AI公司,技术栈前沿,薪资具竞争力,预估中位数27.5k/月
职位详情
关于这个职位
你将成为 DeepSeek 核心产品的数据架构建设者,负责从 Kafka 数据接入、湖仓一体的离线/实时处理,到 BI 平台应用的全链路数据开发
你将深度参与数仓建模与治理,使用 Spark、Flink、Iceberg 等前沿技术栈,直接支撑业务数据分析需求,驱动数据价值落地
团队扁平开放,技术氛围浓厚,是早期数据团队成员,成长空间巨大
最低要求
本科及以上学历,计算机、软件工程、数学等相关专业,1~5 年数据开发/数据工程/数仓建设工作经验
扎实的大数据组件基础:熟练掌握 Spark、Flink 的开发与日常调优,有实际的线上任务排错经验
熟悉 Kafka 消息队列的使用与性能特性
熟悉 ClickHouse / DuckDB / StarRocks / Doris / TiFlash 等至少一种 OLAP 引擎
熟悉 Iceberg / Delta Lake 等至少一种数据湖技术,以及 Parquet / Avro / Arrow 等至少一种数据格式的原理与应用
优秀的建模能力:熟悉数仓分层架构(ODS/DWD/DWS/ADS)与维度建模理论,有扎实的 SQL 功底,能独立完成从埋点日志到业务指标的数据建模
编程语言:除精通 SQL 外,熟练掌握 Java / Scala / Python 中的至少一种
能熟练使用 Python / Shell 解决日常自动化问题,并对学习 Rust / Golang 抱有热情
软素质:有自驱力,具备优秀的“技术品味”和技术热情
突出的 Owner 意识与沟通表达能力,能清晰梳理复杂的业务数据需求
工作职责
数据全链路开发:负责数据Pipeline的设计、开发、部署与日常运维,主导全链路(后端Kafka上报 -> Parquet/Iceberg 归档清洗 -> BI平台应用)的落地上线
实时与离线数据计算:深入业务场景,使用 Flink / Kafka Connector 等流处理框架,开发高稳定性的实时数据流
使用Spark开发高效的离线数据处理任务
数据仓库建模与治理:负责从底层原始埋点数据、中间明细层(DWD/DWS)到顶层业务指标表(ADS)的数仓建模与规范建设,保障数据质量与口径一致性
业务支持与赋能:深度对接业界领先的数据平台,为业务线提供强有力的数据分析底层能力支撑
架构优化与稳定性建设:站在数据视角,主动发现现有计算任务和数据架构中的瓶颈,提出并落地关于性能提升、链路稳定性、资源优化的解决方案
优先资格
加分项:了解主流 Chatbot / Agent 产品业务逻辑,并具备相应的数据建模经验
AI Native:习惯拥抱 AI,能熟练使用现有 AI 工具(如 Claude / Cursor / GitHub Copilot 等)辅助日常开发工作
AI 洞察
优缺点分析
优点
- 技术栈前沿(Spark、Flink、Iceberg、湖仓一体),能积累高含金量的大数据工程经验
- 公司属于 AI 赛道明星企业,业务增长迅速,数据团队早期加入,晋升空间大
- 团队扁平开放,鼓励技术探索和 Owner 意识,个人影响力能快速体现
- 全链路数据开发涉及实时、离线、建模、运维多个方面,对技术广度和深度要求高
- 早期团队可能职责范围较广,需要较强的自驱和多任务并行能力
- AI 公司业务迭代快,数据需求可能频繁变更,需要快速适应
- 适合有 1-5 年大数据开发经验、渴望接触前沿技术、追求快速成长和技术影响力的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 在扁平团队中快速成长为数据架构师,主导更大 scope 的数据体系设计
- 深入前沿湖仓一体、流批一体技术,成为技术专家
- 有机会跨团队协作,向数据产品经理或技术管理方向发展
- 设计并搭建数据管道,将后端埋点数据通过 Kafka 接入,使用 Spark/Flink 进行实时与离线处理,最终在 BI 平台支撑业务分析
- 参与数仓模型设计,从原始数据到中间层再到指标层,保障数据质量和一致性
- 优化现有数据任务和架构,解决性能瓶颈,提升链路稳定性与资源利用率
- 扎实的大数据组件基础:熟练使用 Spark、Flink、Kafka,了解至少一种 OLAP 引擎和数据湖技术
- 优秀的数仓建模能力:熟悉分层架构与维度建模,SQL 功底深厚
- 至少精通 Java/Scala/Python 一种编程语言,能使用 Python/Shell 自动化
- 自驱力强,有技术热情和 Owner 意识,沟通表达清晰
申请策略
- 在求职信中表达对数据工程和 AI 结合的兴趣,以及对 DeepSeek 产品的了解
- 准备一个复杂数据链路问题的解决复盘,展示技术品味和交付意识
- 突出大数据项目经验,特别是 Spark/Flink 实战、数仓建模案例,用数据说明性能优化效果
- 展示 SQL 功底和编程能力,附上 GitHub 或技术博客链接
- 体现 Owner 意识:描述如何主动发现问题并推动解决方案落地
- 若对 Iceberg 或湖仓一体不熟,可快速学习相关概念并做小项目
- 熟悉 AI 工具(如 Claude、Copilot)的使用,体现 AI Native 特质
- 补充 Chatbot/Agent 业务理解,增加加分项竞争力
面试指南
- STAR 法则:描述情境、任务、行动、结果,突出技术难点和你的贡献
- 技术选型对比:解释为什么选择某技术(如 Flink vs Spark Streaming),体现技术视野
- 问题解决思路:从发现问题、分析 root cause、设计解决方案、验证效果等步骤展开
- 请详细描述你设计过的一个数据管道,包括技术选型、架构和遇到的挑战
- 如何保证实时流处理的数据一致性和 exactly-once 语义?
- 数仓建模中如何设计维度表和事实表?请举例说明缓慢变化维的处理
- 在 Spark 任务调优中,你常用哪些参数或策略?
- 你是否使用过 AI 工具辅助开发?请举例说明如何提升效率
职位点评
73
综合评分
前沿AI公司数据团队,技术栈新、成长快、薪资优,但WLB尚不明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估,方便横向比较。
更适合这类人
最适合追求技术快速成长、渴望接触前沿大数据架构、愿意在创业早期投入的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活50
使命价值80
薪资福利
70中等
薪资虽未明确,但 B 轮 AI 公司通常提供有竞争力的薪酬和期权,整体补偿水平较好。
薪资信号未披露(AI估算:20K-35K/月)
成长发展
90较高
技术栈前沿、团队早期、成长路径清晰,是技术深度和广度快速提升的绝佳机会。
技术前沿前沿/新兴技术
技术栈Spark、Flink、Kafka、ClickHouse、Iceberg、湖仓一体、流批一体、存算分离
成长机会清晰的成长路径、主导更大scope
业务类型profit_center
工作生活
50较低
未明确远程或弹性工作制度,杭州科技园办公,加班情况不明,生活平衡存在不确定性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)
使命价值
80较高
AI 核心产品,技术创新驱动,对行业有较大影响力,工作意义感强。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新(行业首创)
深度求索 的其他在招职位
相似职位推荐
Watch Jobs