携程
数据采集系统开发工程师(MJ034626)
数据采集系统开发工程师(MJ034626)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
分布式系统
大语言模型(Llm)
异步编程
数据采集
视觉语言模型(Vlm)
值不值得投
66综合评分
综合评分 66
AI与爬虫技术深度融合的挑战性岗位，技术成长空间大，但薪资福利与WLB信号均不明朗。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
2.5万
比数据工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 590 个在招 · 其中数据工程 5 个
市场机会
选择面较广
上海 · 数据工程 · 96 个在招
职位详情
关于这个职位
该职位负责开发与维护携程大规模、智能化的数据采集系统
工作内容涵盖多形态数据源（Web/App/视频图文）的采集与分析，并运用大语言模型（LLM）和视觉语言模型（VLM）等AI技术实现页面结构化抽取和内容理解，探索Agent化自动采集，旨在提升采集效率、智能化水平与系统鲁棒性
最低要求
计算机相关专业本科及以上学历，3年以上后端及数据采集开发经验
熟练掌握 Python（异步/协程、性能调优）或 Java 同等水平，熟悉 Linux 环境下的工程化开发
熟悉 Scrapy / Playwright / Puppeteer 等采集工具链，理解 CDP 协议，能构建稳定的自动化采集流程
具备 JS 技术分析能力（包括 AST 分析、环境搭建、指纹优化、代理池管理），能独立完成从协议分析到稳定采集的闭环
有大模型落地数据链路的真实项目经验，熟悉 Prompt Engineering、结构化输出、评测集构建与准确率量化，具备成本与延迟权衡意识
熟悉 MySQL/Redis/Kafka，了解 K8s/Docker 与 Prometheus、Grafana 等监控体系，具备线上问题定位能力
对数据采集技术充满热情，具备优秀的问题解决、沟通、学习能力和团队合作精神，工作踏实认真负责
工作职责
开发和维护大规模分布式数据采集系统，覆盖 Web、App、视频图文等多形态数据源
负责目标站点的技术分析与优化，确保数据采集的合法合规性，并完成相关技术实现
结合 AI 技术提升采集效率与智能化水平：用 LLM/VLM 完成页面结构化抽取、非结构化正文清洗与多模态内容理解
探索 Agent 化采集，实现采集脚本自动生成、选择器失效自愈与站点变更自动探测
熟悉业务场景，结合技术趋势迭代系统架构，并与下游团队协作定义采集口径与数据质量指标
优先资格
有大规模采集平台（日均亿级请求）的平台化建设经验
有 Agent / 工作流编排、模型微调或小模型替代大模型的落地经验
有 App 逆向经验，或开源项目、技术博客、CTF 安全竞赛背景
AI 洞察
优缺点分析
优点
- 携程作为旅游巨头，业务数据形态丰富、场景复杂，能积累解决超大规模、高难度工程问题的经验
- 需同时兼顾采集的稳定性、合规性、效率及智能化，对技术广度和问题解决能力要求极高
- 作为基础数据平台，其价值有时不如直接面向用户的业务线直观，需主动证明自身价值
缺点 / 挑战
- 技术挑战高且前沿，能直接接触LLM/VLM等最新AI技术在工程领域的落地，技术成长空间大
- 数据采集是公司数据智能体系的基石，岗位成果直接影响下游业务，具有较高的可见性和业务价值
- 数据采集常需与目标站点的反爬机制进行持续技术对抗，工作强度与压力可能较大
- 适合对数据采集底层技术有浓厚兴趣、喜欢解决复杂反爬与工程挑战、并对AI工程化有热情，期望在技术深度和业务广度上同步成长的后端或数据工程师
角色解读
- 技术深耕：成为数据采集与智能爬虫领域的专家，在反爬对抗、多模态数据处理等方向建立技术壁垒
- 架构演进：负责设计和推动下一代智能化采集平台的整体架构，提升系统的自动化与自愈能力
- 领域扩展：从数据采集延伸到数据治理、数据质量或相关AI工程领域，成为数据链路的全栈专家
- 设计、开发和维护支撑业务的大规模自动化数据采集系统，覆盖网站、移动应用等多种数据源
- 将前沿的AI技术（如大模型）深度集成到采集流程中，实现从手动规则到智能抽取与理解的升级
- 分析目标网站的技术结构，解决反爬对抗、稳定性和合规性问题，确保数据持续、准确获取
- 扎实的后端开发能力（Python/Java），熟悉异步编程和Linux工程化环境
- 精通网络爬虫全栈技术，包括主流工具链、浏览器自动化协议和JS逆向分析
- 有将大模型应用于实际数据工程项目的实战经验，懂得如何设计和评估AI方案
- 具备分布式系统及中间件（MySQL, Redis, Kafka）知识，能进行线上问题排查与性能优化
申请策略
- 申请前，可简单调研携程的主要旅游产品（如机票、酒店）及其数据来源，思考采集系统可能面临的独特挑战
- 在技术博客或GitHub上，如果有关于爬虫、逆向或AI工程的项目/文章，将是强有力的加分项
- 详细描述参与过的大规模数据采集项目，突出系统规模、技术难点（如反爬对抗、性能优化）和成果
- 着重展示大模型在数据处理中的应用经验，如具体场景、技术方案（Prompt设计、评测方法）和效果提升
- 列举在JS逆向、协议分析、自动化工具链（Playwright等）方面的具体技能和项目实践
- 提及对数据合规性的理解和在项目中的实践，体现工程素养
- 深入研究一个大模型（如GPT-4）在结构化信息提取上的能力与边界，准备一个完整的小案例
- 练习使用Playwright或Puppeteer实现复杂的网站交互与数据抓取，并了解CDP协议细节
面试指南
- 使用STAR法则回答问题，重点阐述技术背景、个人职责、具体行动和最终量化结果
- 对于AI应用类问题，强调工程落地思维：从问题定义、方案选型（为什么用LLM/小模型）、Prompt工程、效果评测到成本控制的全流程
- 对于系统设计问题，先勾勒整体架构，再深入关键模块（如调度、解析、存储）的技术选型与权衡
- 请描述一个你设计过的最复杂的数据采集系统架构，遇到了哪些主要挑战以及如何解决的？
- 如何将LLM应用于网页数据抽取？请谈谈你的实际经验、遇到的困难以及对准确率和成本的考虑
- 当目标网站的前端结构频繁变更导致选择器失效时，你的系统如何实现自适应和自愈？
- 如何确保大规模数据采集行为的合法合规性？在技术实现上有哪些考虑？
- 请解释一下你如何对采集到的非结构化数据进行清洗和结构化处理，并保证质量
职位点评
薪资福利55
成长发展90
工作生活50
使命价值70
薪资福利
55较低
JD未披露任何薪资福利信息，对追求明确经济回报和福利保障的求职者来说信号不明。
薪资信号未披露（AI估算：1.8千–3.2万/月）
成长发展
90较高
该职位深度结合LLM/VLM等前沿AI技术与大规模分布式系统，技术栈先进且挑战性强，提供了在数据智能领域快速成长和建立专长的机会。
技术前沿前沿/新兴技术
技术栈LLM、VLM、Agent、Scrapy、Playwright、Puppeteer、K8s、Docker
成长机会探索 Agent 化采集、结合技术趋势迭代系统架构
业务类型ambiguous
工作生活
50较低
JD未明确提及办公模式、工作时间等任何与WLB相关的信息，工作节奏需依据行业和岗位性质自行评估。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
数据采集是旅游业务数据智能的基石，技术工作能直接赋能业务洞察与增长，在公司内部具有明确价值。
行业发展稳定成熟行业
社会影响中性/一般
使命信号确保数据采集的合法合规性、与下游团队协作定义采集口径与数据质量指标
创新程度积极采用新技术
携程 的其他在招职位
相似职位推荐
Watch Jobs