本科及以上学历,计算机科学、人工智能、网络安全等相关专业
3年以上爬虫开发及逆向工程经验,有大模型或AI相关领域的爬虫应用经验者优先
熟悉并能绕过常见的反爬技术(如动态网页加载、验证码、JS加密等)
精通Python或其他编程语言,熟悉爬虫框架(如Scrapy、Selenium、Playwright等)
熟悉大模型训练和数据处理流程,能够根据模型需求调整数据抓取策略
熟悉常见网络协议(HTTP/HTTPS)和接口抓取,能够对复杂数据进行高效提取和清洗
具备良好的分析能力和解决问题的能力,能够应对复杂的反爬挑战