高知特
AP Data Engineer
AP Data Engineer
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
Etl
中英双语
性能调优
数据仓库
数据建模
数据治理
数据湖
监控告警
值不值得投
65综合评分
综合评分 65
上海 Iceberg 数据工程岗，技术前沿日班到岗
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比数据工程中位数低
发布情况
新岗位 · 今天发布
公司情况
公司还在招多个职位
3 个在招
市场机会
选择面较广
上海 · 数据工程 · 约 130 个在招
职位详情
关于这个职位
高知特上海数据工程师岗，基于 Apache Iceberg 设计与优化健壮的数据平台：构建数据湖/仓方案、批流数据管道、治理与监控体系，支持分析团队与全球数字服务，日班在办公室工作，与产品及工程伙伴协作交付可扩展数据方案
最低要求
具备在生产环境中使用 Apache Iceberg 的扎实动手经验，包括表设计、分区与快照管理，实现可靠数据存储
展示对数据工程概念的扎实掌握，如 ETL 开发、分布式处理与数据建模，熟悉现代数据平台常用工具
具备高科技领域（软件产品或数字平台）的实战经验，理解典型数据模式、遥测需求与用户分析要求
熟练运用英语与中文普通话进行沟通，通过两种语言的清晰文档与讨论，与全球利益相关方高效协作
具备云端或本地数据基础设施管理经验，支持分析型工作负载安全、可扩展且兼顾成本的部署
熟悉数据治理与质量框架，帮助对关键业务数据集执行准确性、完整性与时效性标准
具备日班全程在办公室工作、与团队成员紧密协作以交付可预期高质量数据工程成果的能力
工作职责
使用 Apache Iceberg 设计并实现高度可扩展的数据湖与数据仓库方案，支持高科技产品生态中复杂的分析及报表需求
开发高效的批处理与流式数据管道，确保大规模数据的准确摄取、转换与分区，同时保持严格的数据质量标准
优化 Apache Iceberg 环境中的数据存储布局、文件格式与元数据管理，以提升查询性能与资源利用率
与产品经理、数据分析师及软件工程师紧密协作，将业务需求转化为结构良好的数据模型与可靠的数据服务
建立健壮的数据治理实践，包括 schema 演进策略、数据保留规则与目录管理，保持数据集一致且合规
通过配置指标、日志与健康检查，为数据工作流实施监控与告警，主动发现数据完整性或性能问题
编写清晰的技术文档，涵盖数据架构图、管道规范与操作流程，支持知识分享与新成员上手
通过分析查询模式、优化连接与聚合、细化聚类策略，支持数据平台的性能调优
与安全合规团队协调，落实访问控制、加密机制与审计日志，按高科技行业要求保护敏感信息
就策展数据集与语义层的有效使用向利益相关方提供指导，使分析成果直接促进产品创新与客户体验提升
参与持续改进计划，评估与 Apache Iceberg 兼容的新兴数据技术，并对现有技术栈提出切实可行的增强建议
参与跨职能讨论，确保数据方案与组织目标一致，并对面向社会的数字服务产生积极影响
在常规日班的现场协作中快速解决数据问题，维持关键分析数据集的高可用性
优先资格
优先认证：Apache Iceberg 专项培训，或云厂商数据工程师资质等厂商数据工程认证
AI 洞察
优缺点分析
优点
- Iceberg 湖仓架构属数据平台前沿方向
- 全球数字化服务场景，业务影响面大
- 日班在办公室，作息规律明确
- Iceberg 生产经验人才稀缺，责任重
- 治理、性能、合规多头要求
- 要求日班全程到岗，灵活性低
- 有湖仓生态实战、中英双语流利的数据工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 资深数据工程师→数据平台架构师
- 向数据治理或湖仓一体技术专家发展
- 跨职能协作经验可转技术管理
- 基于 Iceberg 构建数据湖/仓与批流管道
- 优化存储布局与查询性能，落实数据治理与监控
- 与产品/分析/工程协作交付数据服务
- Apache Iceberg 生产实战（表/分区/快照）
- ETL、分布式处理与数据建模功底
- 中英双语沟通与安全合规实践
申请策略
- 准备数据架构设计陈述
- 展示对合规与安全的意识
- 突出 Iceberg/Hudi/Delta 等湖仓表格式实战
- 量化管道规模（数据量、时效、成本）
- 展示治理与性能优化案例及双语文档能力
- 考取 Iceberg 专项培训或云厂商数据工程认证（JD 载明优先）
- 了解流批一体架构趋势
面试指南
- 技术题：场景→方案→量化收益
- 治理题：规则→工具→落地
- 协作题：跨团队需求对齐实例
- Iceberg 表设计与快照管理的实践
- 如何定位并解决管道数据质量问题
- 查询性能调优的具体案例
- schema 演进与数据保留策略设计
- 复习 Iceberg 内部机制与 Spark/Flink 集成
职位点评
薪资福利60
成长发展80
工作生活60
使命价值55
薪资福利
60中等
JD 未披露薪资；上海数据工程资深岗外企市场水准
薪资信号未披露（AI估算：3.0千–5.0万/月）
成长发展
80较高
湖仓前沿技术栈，JD 鼓励评估新兴数据技术
技术前沿前沿/新兴技术
技术栈Apache Iceberg、流批管道、数据治理
成长机会continuous improvement initiatives
业务类型profit_center
工作生活
60中等
JD 明确日班全程到办公室，作息规律；无远程选项
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
工作生活平衡day shifts
使命价值
55较低
数据服务面向全球与社会，JD 提及积极社会影响
行业发展稳定成熟行业
社会影响中性/一般
使命信号create positive impact on digital services offered to society、amplify human potential
创新程度积极采用新技术
高知特 的其他在招职位
相似职位推荐
Watch Jobs