腾讯
智能湖仓研发工程师（上海/深圳）
智能湖仓研发工程师（上海/深圳）
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公后端开发
后端开发
Performance Optimization
Rag
Large Language Model Infrastructure
值不值得投
79综合评分
综合评分 79
顶尖大厂、前沿AI技术栈、高薪高压力、侧重技术深度与广度成长
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比后端开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1930 个在招 · 其中后端开发 66 个
市场机会
选择面较广
上海 · 后端开发 · 约 320 个在招
职位详情
关于这个职位
负责腾讯统一AI数据湖基础能力建设，构建高性能、可治理的数据基础设施
深度适配Spark、Flink等计算框架，优化端到端性能
支持广告、推荐及大模型研发链路中的数据采集、清洗、特征工程与向量检索，解决PB级大规模数据处理难题
最低要求
年以上大数据、分布式系统、存储系统、湖仓、检索系统或AI数据平台研发经验
熟悉Java/Scala/C++/Rust/Python中至少一种语言，具备扎实的系统设计、编码和性能优化能力
熟悉数据湖、湖仓、分布式存储、元数据管理、事务提交、文件组织、查询规划、分区裁剪和文件裁剪等机制
熟悉Spark、Flink、Trino/Presto、Hive、StarRocks、Ray等计算或查询引擎中的一种或多种
熟悉Parquet, Lance, Vortex, Nimble等列存文件格式，理解列式存储、随机访问、批量读取、压缩编码和IO优化
具备良好的技术判断力、问题抽象能力、跨团队沟通能力和复杂项目推进能力
工作职责
负责公司统一 AI 数据湖基础能力建设，围绕存储、元数据、索引、版本、权限、生命周期和查询规划等方向，构建高性能、可治理、可复用的数据基础设施
深度适配 Spark、Flink、StarRocks、Ray，Pytorch等大数据和AI 计算框架 ，优化数据写入、扫描、过滤、采样、批量读取、训练数据加载和结果回写等端到端性能
支持广告、推荐、搜索等业务场景，建设样本、特征、行为日志、模型输入输出和效果数据等核心数据资产的统一管理与高效访问能力，支撑样本构建、特征回溯、训练数据管理和实验复现
支持大模型研发链路中的数据采集、清洗解析、特征抽取、Embedding 生成、数据去重、训练集构建、评估与推理回写等环节，建设高效的数据存储与数据访问能力
围绕多模态数据管理、向量检索、近重复检测、语义检索、RAG、混合查询和批量数据治理等场景，构建高吞吐、低成本、可版本化的数据处理与检索能力
优先资格
熟悉广告、推荐、搜索中的样本生产、特征工程、训练数据管理、特征回溯或模型效果分析链路者优先
熟悉向量检索、多模态检索、近重复检测、语义检索、RAG或大规模embedding数据治理者优先
加分项：有数据湖表格式、存储内核、查询引擎、特征平台、样本平台、向量检索系统或多模态数据平台研发经验
有Iceberg, Hudi, Paimon, Lance, Vortex, Nimble, Arrow、Spark、Flink、Trino、Ray等开源项目源码经验或社区贡献者优先
有PB级数据、百亿级样本、大规模特征或embedding数据处理经验者优先
AI 洞察
优缺点分析
优点
- 接触PB级超大规模数据，技术栈前沿（AI+大数据），平台资源强大，职业背书价值高
- 技术门槛极高，需深入理解底层原理，工作强度大，对系统稳定性和性能要求苛刻
- 热衷于底层技术研发、追求极致性能优化、具备深厚分布式系统功底的高级工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向首席架构师、技术专家方向发展，或在AI基础设施领域成为行业权威
- 构建和维护公司级的AI数据湖基础设施，确保海量数据的高效存储与管理
- 精通分布式存储原理、大数据计算引擎（Spark/Flink）调优、以及向量检索/RAG相关技术栈
申请策略
- 强调系统设计能力和解决复杂性能瓶颈的经验，展示对AI基础设施业务的深刻理解
- 突出PB级数据处理经验、开源项目贡献、以及在数据湖/向量检索领域的深度实践案例
- 深入研究Iceberg/Hudi等最新数据湖格式源码，掌握向量数据库原理及LLM数据处理流程
面试指南
- 采用STAR法则，重点阐述遇到的极端性能瓶颈、采用的底层优化手段（如IO调度、内存管理）、以及最终量化的性能提升指标
- 如何优化Spark在数据湖上的读写性能？
- 请设计一个支持高并发向量检索的系统架构
- 如何处理数据湖中的数据一致性和事务问题？
- RAG系统中如何解决长上下文窗口下的检索效率问题？
- 复习分布式系统经典理论，准备1-2个复杂的性能优化实战案例，了解当前主流数据湖格式的最新特性
职位点评
薪资福利90
成长发展95
工作生活40
使命价值80
薪资福利
90较高
作为上市巨头企业的核心研发岗，薪资福利处于行业顶尖水平，稳定性高，补偿性动机满足度极高。
薪资信号偏高 (4.0千–7.0万/月)
成长发展
95较高
涉及AI数据湖、向量检索、RAG等前沿技术领域，技术成长空间巨大，发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈Data Lakehouse、Spark、Flink、Vector Search、RAG、Iceberg、Hudi
业务类型profit_center
工作生活
40较低
互联网大厂核心研发岗通常伴随高强度工作节奏，WLB相对一般，生活化动机满足度有限。
工作模式未明确
办公地点市区核心地段
加班情况JD含高强度暗示词
使命价值
80较高
支撑大模型研发和AI基础设施建设，具有显著的技术创新价值和行业影响力，意义感动机满足度较高。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs