快手
数据采集技术专家（Tech Lead）-【大模型专项】
数据采集技术专家（Tech Lead）-【大模型专项】
发布于 大约 8 小时前中层管理(经理/总监)
北京市
高级经验
全职员工
仅现场办公
本科
软件工程
分布式系统
逆向工程
大模型
Frida
反爬虫
AI 估算 · 35k–55k
上市大厂技术专家岗，高薪竞争力强，技术栈前沿，薪资处于市场领先水平。
职位详情
关于这个职位
该职位是快手大模型专项的数据采集技术专家（Tech Lead），主要负责主导数据采集系统的架构设计与技术演进，带领团队攻克大规模分布式爬取、反爬对抗、App逆向等复杂技术难题，保障大模型训练数据的稳定供给
你将统筹采集全链路，与多团队协作推动项目交付，是高薪且技术挑战极大的岗位
最低要求
本科及以上学历，计算机相关专业
年以上互联网后端/数据工程经验，其中3年以上采集或爬虫系统相关工作经验
精通 Java 或 Python，具备大规模分布式系统设计与落地能力，有高吞吐、高可用架构实战经验
深入理解主流采集技术栈（Scrapy、Puppeteer、Playwright、Frida 等），熟悉数据调度框架（如 Airflow、自研调度系统）
熟悉主流互联网风控策略与反爬机制，具备完整的对抗实战经验与方案沉淀能力
具备良好的技术判断力和项目推动力，能在模糊需求下独立拆解问题、给出落地方案
工作职责
主导大模型数据采集方向的技术选型与架构设计，制定采集系统的中长期技术演进路线图，推动系统性建设及规模化落地
带领团队攻克复杂采集场景下的技术难题，包括大规模分布式爬取、动态渲染页面处理、反爬对抗、App逆向解析等，保障大模型训练数据供给的稳定性与质量
统筹数据采集全链路设计——涵盖任务调度、分布式采集、内容结构化解析、数据清洗与持久化，持续优化系统吞吐量、稳定性与成本效率
建立团队编码规范、数据质量标准及安全合规体系（遵循 robots 协议、数据安全相关法规），推动工程化建设与最佳实践落地
与大模型训练、数据标注、平台工程等团队紧密对齐需求，作为技术接口人协调资源、推动项目交付
优先资格
有 App 逆向工程经验（脱壳、反混淆、协议还原）
了解多模态内容理解（图文、视频）在数据采集与结构化中的应用
有大模型预训练/后训练数据工程经验（数据格式、去重、质量过滤等）
熟悉 Kafka、Flink 等实时数据处理组件
有过技术团队管理建设或 TL 经历者优先
AI 洞察
暂无 AI 洞察数据
匹配度报告
Watch Jobs