月之暗面的爬虫工程师薪资是多少？

该职位薪资范围为 35k–60k（人民币/月）。

爬虫工程师的工作地点在哪里？

该职位工作地点位于北京市。工作形式为仅现场办公。

该职位要求学历未注明学历及高级经验工作经验。

🤖 AI 估测：¥35K-60K

发布时间：6 天前

该职位主要负责设计、开发和优化大规模网络爬虫系统，以高效、稳定地获取和处理海量网页数据

核心工作包括构建URL发现与调度系统、应对反爬机制、建立数据质量评估体系，并优化数据处理管线的性能

这是一个技术深度要求高、专注于数据获取底层架构的工程师岗位

岗位职责

设计和优化大规模 Web 爬虫的 URL 发现与调度系统，持续扩大数据覆盖面

建设多因子抓取优先级体系，在有限资源下最大化高质量页面的获取效率

主导反爬对抗和动态渲染方案，提升核心站点的抓取成功率

建立数据质量评估闭环，从域名到页面的多层级质量管控

优化大规模数据处理管线的性能和稳定性

希望你具备以下经验

大规模搜索引擎或 Web 爬虫系统实战经验，做过百亿级以上 URL 池的全链路

深入理解全网 URL 发现的多种手段

熟悉主流反爬机制及对抗方案

扎实的分布式数据处理能力（Spark / Flink 等）

强烈加分

有大模型预训练语料采集和清洗经验

爬虫工程师

🤖 AI 估测：¥35K-60K

发布时间：6 天前