思爱普
Data Engineer
Data Engineer
发布于 大约 16 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
混合式弹性办公
本科
软件工程
SQL
数据治理
PySpark
AI 估算 · 22k–35k
上海外企中级数据工程师，Python/Spark技能要求高，薪资竞争力强，参考市场水准。
职位详情
关于这个职位
作为SAP服务与支持数据湖团队的数据工程师，你将参与构建现代化的数据工程平台，负责设计可扩展的数据管道、实现实时与批量数据摄取，并推动数据治理与元数据管理
该职位致力于从孤立管道向统一智能平台演进，以支持自助分析、AI服务和自动化数据代理
最低要求
Bachelor's degree or equivalent practical experience.
+ years of experience coding in Python (pandas, pytest) and SQL.
+ years of experience with Spark / Big Data processing (PySpark): transformations, partitioning, performance optimization.
+ years designing and deploying data pipelines, including managing data schemas and processing high-volume workflows.
Strong software engineering fundamentals: clean code, modular design, debugging, version control, and maintainable documentation.
Strong SQL and data modeling capabilities (normalized and denormalized patterns, data contracts, schema evolution).
Hands-on testing and release practices: unit/integration testing, CI/CD pipelines, and safe production rollout.
Experience in observability and operations: metrics, logging, alerting, and on-call friendly troubleshooting.
Experience with SQL databases (PostgreSQL preferred, others acceptable) and NoSQL databases (Elasticsearch and Delta Lake required).
Experience with real-time and batch ingestion (APIs - polling & push, Kafka streaming).
Experience with workflow orchestration (Kubeflow Pipelines, Airflow, Prefect, or Dagster).
Experience with data governance: data redaction, anonymization, and PII handling.
Proficiency in Git workflows: branching strategies, code review, CI/CD integration.
工作职责
Design and maintain scalable pipelines with clear architecture and high quality standards.
Build real-time and batch ingestion from diverse sources with automated validation.
Write production-grade code with strong testing discipline (unit/integration tests), code review quality, and maintainable modular design.
Troubleshoot complex data issues end to end, including root-cause analysis, performance bottlenecks, and reliability incidents.
Implement anonymization and PII controls aligned with governance requirements.
Develop metadata pipelines for schema profiling, business context extraction, and lineage tracking.
Contribute to semantic layers that map technical fields to business terminology for self-service and natural-language analytics use cases.
Use AI-assisted development practices to accelerate delivery and maintenance; prior autonomous-agent experience is a plus, not a requirement.
Establish monitoring, alerting, and data quality controls to ensure secure, reliable analytical assets, evaluate their AI/ML readiness based on data science requirements.
Partner with the Tech Lead and Architect to convert requirements into production-ready systems.
优先资格
+ years designing enterprise-scale data platforms and analytics infrastructure.
Familiarity with LLM-enabled data applications, including RAG, embeddings, vector search, and evaluation from a data platform perspective.
Experience building data services and data APIs that support AI-related applications and analytics products.
Experience productionizing data and feature pipelines that support machine learning and intelligent applications.
Strong interest in AI-native data engineering and agentic data workflows, including orchestration, tool integration, evaluation, and workflow automation.
Understanding of MLOps/LLMOps principles to ensure scalable and reliable deployment of text processing and redaction pipelines.
Experience with monorepo or shared library architecture patterns.
Ability to operate across ambiguity and influence cross-functional technical decisions.
Demonstrated learning agility in adopting emerging data concepts (for example, data agents and semantic layer patterns).
AI 洞察
优缺点分析
优点
- 加入SAP全球领先的企业级软件公司，平台稳定，资源丰富
- 接触前沿技术栈：数据湖、实时流处理、元数据治理、AI集成
- 团队成员协作紧密，有技术导师和清晰成长路径
- 工作环境包容，重视健康与福利，有灵活工作模式
- 需要处理复杂的大规模数据管道，问题排查和性能优化要求高
- 技术栈广泛，需要持续学习新工具（如Kubeflow、向量搜索、LLM集成）
- 大型组织内跨团队协作可能涉及流程和沟通成本
- 适合具有3年以上数据工程经验、热爱技术深度、渴望参与AI驱动数据平台建设、并注重工作生活平衡的工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 深入数据工程与AI交叉领域，成长为数据平台架构师或AI数据专家
- 从执行者演变为技术领导者，参与平台方向决策和团队协作
- 有机会向数据科学、MLOps或数据产品方向拓展，实现多元化发展
- 设计和维护可扩展的数据管道，确保架构清晰、质量高标准
- 构建实时与批量数据摄取流程，自动验证多源数据
- 实施数据治理策略，包括匿名化、PII控制和元数据管理
- 与Tech Lead和架构师合作，将需求转化为生产级系统
- 熟练掌握Python（pandas, pytest）和SQL，具备3年以上经验
- 精通Spark/PySpark进行大数据处理，包括变换、分区和性能优化
- 扎实的软件工程基础：整洁代码、模块化设计、版本控制（Git）、CI/CD
- 熟悉数据建模、实时/批量数据摄取（Kafka、API）、工作流编排（Airflow、Kubeflow）
申请策略
- 在求职信中表达对数据工程与AI结合的兴趣，以及参与智能平台建设的热情
- 了解SAP的产品（如SAP S/4HANA）和行业背景，展示业务理解能力
- 突出Python、SQL、PySpark的实际项目经验，特别是大规模管道设计
- 强调数据治理、元数据管理或PII处理的成就
- 展示测试实践（单元/集成测试）、CI/CD和Git工作流熟练度
- 如果有LLM或AI相关项目经验，作为加分项重点描述
- 提前熟悉Delta Lake、Elasticsearch和Kafka的实战用法
- 了解AI-native数据工程概念，如RAG、向量搜索、语义层
面试指南
- STAR方法：情境、任务、行动、结果，结构化描述项目经验
- 从问题分析出发，比较不同技术选型，强调权衡和决策依据
- 结合具体指标（如延迟、吞吐量、准确性）量化成果
- 请描述你设计过的一个大规模数据管道，包括架构选择、挑战和解决方案
- 如何确保数据质量和完整性？你用过哪些测试和监控方法？
- 解释数据匿名化和PII处理的常见技术（如差分隐私、数据遮蔽）
- 你对数据湖和元数据管理有何理解？如何实现数据血缘追踪？
- 你如何看待AI辅助开发在数据工程中的应用？请举例
职位点评
74
综合评分
SAP上海数据工程师：前沿技术栈，注重成长，灵活工作，薪资有竞争力但未明确。
更适合这类人
该职位最适合注重技术成长和职业发展的求职者，尤其是渴望在数据工程与AI交叉领域深耕的工程师。
表现最好
成长发展
相对薄弱
使命价值
薪资福利75
成长发展85
工作生活70
使命价值65
薪资福利
75中等
SAP作为跨国巨头，薪资福利具有市场竞争力，但未明确具体范围。提供良好的福利和稳定性，但薪酬上限可能不及互联网大厂。
薪资信号未披露（AI估算：22K-35K/月）
福利待遇great benefits、health and well-being、flexible working models
成长发展
85较高
职位描述强调技术成长：从传统管道到AI代理、元数据平台、语义层等前沿方向。团队注重学习、分享和持续改进，提供清晰的成长路径。
技术前沿前沿/新兴技术
技术栈data lake、real-time streaming、AI-native data engineering、LLM、vector search、semantic layer、data agents
成长机会Constant learning、skill growth、technical growth、collaborative learning、growth path
业务类型ambiguous
工作生活
70中等
SAP提倡灵活工作模式和包容文化，关注员工健康。但职位可能涉及on-call和高压问题排查，工作节奏需视团队而定。
工作模式混合式弹性办公
办公地点市区核心地段
加班情况未提及（无法判断）
工作生活平衡flexible working models、health and well-being、inclusive culture
使命价值
65中等
SAP作为企业级软件公司，助力全球商业运营，具有较高的社会影响力。但职位本身偏向技术支持，使命感不如医疗或环保领域直接。
行业发展稳定成熟行业
社会影响中性/一般
使命信号help the world run better、drive scalable impact
创新程度积极采用新技术
Watch Jobs