Xiaohongshu logo
小红书
数据开发工程师(数据仓库工程师)

数据开发工程师(数据仓库工程师)

发布于 大约 3 小时前

普通员工/个人贡献者

上海市
中级经验
全职员工
仅现场办公
本科
数据工程
Spark Sql
Starrocks
数据仓库
用户画像
行为分析
风控

AI 估算 · 25k–35k

高级大数据技术栈,风控业务领域,市场需求旺盛,薪资有竞争力

职位详情

关于这个职位

该职位主要负责小红书风控领域的数据仓库建设与离线数据开发,包括指标体系设计、特征加工、用户画像和行为分析

你将使用Hive/Spark SQL等大数据技术,为业务部门提供稳定高效的数据服务,并参与性能优化和稳定性保障工作
适合有3-5年数据开发经验、对风控业务有兴趣的技术人员

最低要求

本科及以上,计算机、统计学、数据科学、数学等相关专业,3-5 年数据开发 / 风控数据 / 数仓经验

有较为丰富的数据仓库研发经验,熟悉数据仓库、数据体系和数据价值的建设及优化
熟悉大数据架构体系,具备离线或实时数据研发能力,熟悉Hadoop、Hive、Flink、Kyuubi、StarRocks、Kafka等相关技术开发
具备风控业务理解能力,了解账号安全、反作弊、反爬、黑灰产团伙挖掘、设备指纹、行为风控常见玩法
具备快速学习能力、跨团队沟通协作能力,有较强的逻辑思维能力和解决问题能力

工作职责

负责风控数仓建设、指标体系设计与离线数据开发

使用 Hive/Spark SQL 完成特征加工、用户画像、行为分析,提供丰富易用的数据服务,赋能业务
保障数据任务稳定性、SQL 性能优化、数据倾斜处理

AI 洞察

优缺点分析

优点

  • 风控是核心业务方向,岗位重要性强,发展前景好
  • 技术栈先进(Hive/Spark/Flink/StarRocks),紧跟行业趋势
  • 数据仓库建设和风控业务复杂度高,需要较强的逻辑和问题解决能力
  • 适合有3-5年数据开发经验,对风控业务感兴趣,热爱大数据技术,愿意在技术深度和业务理解上持续提升的求职者

缺点 / 挑战

  • 小红书作为头部互联网平台,数据量大、场景丰富,技术挑战高,能快速积累经验
  • 保障数据稳定性要求细致和耐心,可能面临线上故障压力
  • 跨团队协作频繁,沟通成本较高

角色解读

  • 从数据开发工程师逐步成长为高级数据工程师或数据架构师,深入大数据技术栈
  • 深耕风控领域,成为风控数据专家,负责核心风险策略的数据支撑
  • 可向技术管理方向发展,带领数据团队支撑业务决策
  • 建设风控数据仓库,设计指标体系,完成离线数据开发任务
  • 使用 Hive/Spark SQL 进行特征加工、用户画像和行为分析,为业务提供数据服务
  • 保障数据任务稳定性,进行 SQL 性能优化和数据倾斜处理
  • 精通 Hive/Spark SQL,熟悉 Hadoop、Flink、Kafka、StarRocks 等大数据组件
  • 具备数据仓库建模和架构设计能力,理解离线与实时数据研发
  • 了解风控业务场景,如账号安全、反作弊、反爬、黑灰产挖掘等

申请策略

  • 提前了解小红书的业务模式(社区+电商),思考风控在其中的角色
  • 准备1-2个完整的数仓或数据开发项目,能用 STAR 法则清晰陈述
  • 突出数据仓库建模经验,例如星型/雪花模型设计、分层架构等
  • 强调SQL性能优化、数据倾斜处理的实际案例和效果
  • 如有风控相关项目经历(如反作弊、用户画像),务必详细描述
  • 深入学习 Flink 实时流处理,补充实时数据开发能力
  • 了解风控领域常用策略和算法,如决策树、异常检测等

面试指南

  • 可以从问题背景、分析过程、具体方案、最终效果几个维度展开
  • 针对架构设计问题,先理解业务需求,再阐述分层逻辑、模型设计、技术选型
  • 优化类问题,建议结合具体参数(如分区、桶、join优化)和数据量说明
  • 请描述一个你处理过的最复杂的数据倾斜问题,以及如何解决的?
  • 如何设计一个风控数据仓库的数仓分层架构?
  • Hive 和 Spark SQL 在性能优化上有哪些常用手段?
  • 你对风控中的设备指纹和反爬虫有什么了解?
  • 如何保证数据任务的稳定性和时效性?

职位点评

69
综合评分

技术先进、核心业务、薪资有竞争力,但工作强度较高、灵活性一般。

从薪资福利、成长空间、工作节奏和岗位方向综合评估,方便横向比较。

更适合这类人
最适合注重技术成长和业务深度、愿意接受一定工作压力、追求大厂平台和薪资竞争力的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展85
工作生活50
使命价值65

薪资福利

70中等

薪资处于市场偏上水准,大厂福利较为完善,但JD未明确列出,整体补偿性中等偏上。

薪资信号未披露(AI估算:25K-35K/月)

成长发展

85较高

技术栈前沿(Hive/Spark/Flink/StarRocks),风控业务为核心,成长空间大,发展性动机满足较高。

技术前沿前沿/新兴技术
技术栈Hive、Spark SQL、Hadoop、Flink、Kafka、StarRocks、Kyuubi
业务类型profit_center

工作生活

50较低

工作地点在上海,JD未提及弹性工作或远程,且互联网大厂通常有一定加班压力,生活化动机满足一般。

工作模式仅现场办公
办公地点市区核心地段
加班情况未提及(无法判断)

使命价值

65中等

风控业务具有防御风险的社会价值,但岗位本身为技术支撑,意义感中等偏上。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs