丹纳赫
Senior Data Engineer - AI
Senior Data Engineer - AI
发布于 5 个月前普通员工/个人贡献者
Bangalore, Karnātaka, India
高级经验
全职员工
仅现场办公
本科
数据分析与科学
数据管道
生物信息学
AI/ML
SQL
AI 估算 · 80k–150k
该职位要求高级数据工程与AI/生物信息学交叉技能，技术门槛高且市场稀缺，在跨国企业平台下薪资竞争力强。
职位详情
关于这个职位
作为丹纳赫企业AI团队的高级数据工程师，您将专注于支持AI驱动的分子设计
主要工作包括构建和维护可扩展的数据管道与基础设施，整合来自湿实验室、公共数据库等多源的生物数据，并确保数据质量，为下游的建模与分析提供可靠支持
这是一个结合数据工程与生命科学领域知识的技术岗位
最低要求
计算机科学、数据科学、生物信息学、信息技术、工程或相关领域的学士或硕士学位，并拥有8年以上工作经验
在数据工程、数据平台开发或生物信息学领域拥有5年以上经验，最好有支持AI/ML工作负载的经验
精通Python和SQL，有数据管道框架（如Argo, NextFlow, Valohai, Airflow, Luigi）和Python并行化（Joblib, Dask, Ray等）经验
有云数据平台（AWS, Azure, GCP, Snowflake）及相关服务（如S3, Redshift, BigQuery, Synapse）的使用经验
有数据管道编排工具（如Airflow, Prefect, Azure Data Factory）的实践经验
熟悉数据湖仓架构和分布式系统
具备容器化和CI/CD（Docker, Kubernetes, GitHub Actions等）的工作知识
有API、数据集成和实时流式管道（Kafka, Kinesis, Pub/Sub）的经验
工作职责
与科学家、生物信息学家和AI工程师合作，支持数据集成工作，确保数据可访问、结构良好，并准备好用于下游建模和分析
构建和维护数据管道，以摄取、转换和存储来自各种来源（包括湿实验室实验、公共数据库和内部平台）的结构化和非结构化生物数据
实施数据质量检查和验证程序，以确保用于分子设计工作流程的数据集的可靠性和可重复性
协助设置和优化基于云的数据平台和工具，以支持可扩展的存储和计算，为基础设施开发做出贡献
记录工作流程和流程，以支持跨团队的可重复性、协作和知识共享
优先资格
有处理生物或分子数据（如基因组序列、蛋白质结构、检测结果）的经验
熟悉生命科学中使用的数据格式和标准（如FASTA, VCF, PDB）
接触过AI/ML工作流程并与数据科学团队合作
对数据安全、合规和治理框架有深刻理解
具备出色的协作和沟通能力，能够跨技术和业务团队工作
AI 洞察
优缺点分析
优点
- 平台优势：在跨国巨头丹纳赫工作，能接触前沿的AI驱动分子设计项目，行业前景广阔
- 技能复合：结合数据工程、AI和生命科学，能构建独特且高价值的跨领域技术栈
- 项目影响力：工作直接支持新药研发或科学发现，成果具有显著的实际应用价值和意义
- 技术复杂度高：需要同时掌握数据工程、云平台和特定领域的生物信息学知识，学习曲线陡峭
- 协作要求高：需与不同背景的科学家、工程师频繁沟通，对跨学科理解和沟通能力是考验
- 适合拥有扎实数据工程背景，并对将技术应用于解决生命科学实际问题充满热情的高级工程师
缺点 / 挑战
- 数据质量压力：处理的是用于关键研发的生物数据，对数据管道的可靠性、准确性要求极高
角色解读
- 技术路径：可向数据架构师、首席数据工程师或专注于AI基础设施的专家方向发展
- 领域路径：深入生命科学或生物技术领域，成为既懂技术又懂业务的复合型人才
- 管理路径：积累项目经验后，可转向技术管理岗位，如数据工程团队负责人或研发经理
- 构建和维护数据管道，整合来自实验室和数据库的生物数据，为AI模型提供燃料
- 实施数据质量检查和验证流程，确保用于分子设计的数据可靠、可重复
- 协助搭建和优化云数据平台基础设施，支持大规模的数据存储与计算
- 与科学家、生物信息学家紧密协作，确保数据可访问且结构良好，服务于下游分析
- 精通Python和SQL，并熟悉主流数据管道框架（如Airflow）和并行计算工具（如Dask）
- 具备丰富的云平台（AWS/Azure/GCP）实践经验，熟悉相关数据存储与分析服务
- 掌握容器化（Docker/Kubernetes）和CI/CD流程，能够构建和维护高效的数据工程基础设施
- 了解生物信息学数据格式（如FASTA, PDB）或有处理分子/生物数据的经验是重要加分项
申请策略
- 深入了解丹纳赫在诊断、生命科学领域的业务和产品，在申请材料中体现你对公司使命的认同
- 准备具体案例，说明你如何确保数据管道的可靠性和数据质量，这是该职位的核心要求之一
- 重点展示使用Python、SQL和Airflow等工具构建和维护复杂数据管道的具体项目经验
- 突出在AWS/Azure/GCP等云平台上进行数据存储、处理和分析的实践经验与成果
- 如果有生物信息学、基因组学或相关领域的数据处理经验，务必详细描述并列出使用的特定数据格式或工具
- 强调在跨职能团队（如与数据科学家、领域专家）中协作完成项目的经历和能力
- 如果缺乏生物领域知识，可提前学习基础分子生物学概念，并熟悉FASTA、PDB等常见数据格式
- 加强对实时数据流处理框架（如Kafka）和现代数据湖仓架构的理解与实践
面试指南
- 使用STAR法则（情境、任务、行动、结果）来结构化你的项目经验回答，重点突出你的技术决策、解决的问题和带来的价值
- 在回答涉及数据质量和协作的问题时，结合具体工具（如数据校验库）、流程（如代码审查、文档）和沟通实践来展示你的方法论
- 请描述一个你从零开始设计和构建的、最复杂的数据管道项目
- 你遇到了哪些挑战，如何解决的？
- 你如何确保数据管道处理的数据，特别是来自实验的生物学数据，是高质量和可重复的？
- 请举例说明你如何与非技术背景的科学家或业务人员合作，理解他们的数据需求并交付解决方案
- 当数据源发生模式变更或数据延迟到达时，你的数据管道如何保持健壮性？
- 你对云数据平台（如AWS S3, Redshift）的成本优化有什么经验和策略？
职位点评
Watch Jobs