移动抓取与收录研发工程师（J92916）
🤖 AI 估测：¥25K-45K
发布时间：22 天前
ℹ️关于这个职位
这是一个专注于搜索引擎数据获取的研发工程师岗位
你将负责参与建设百度海量数据的分布式爬虫采集系统，解决高性能、高并发、高可用性等技术挑战，并攻克特定场景下的网页和APP抓取难题
该职位要求你具备扎实的网络协议知识、爬虫开发经验和逆向分析能力，是深入搜索引擎核心技术领域的绝佳机会
✓工作职责
参与团队海量数据分布式爬虫采集系统的建设
和团队一起攻克高性能、高并发、高可用性等各种不同技术场景下的技术挑战
根据整体技术方案完成高质量的开发、自测及项目文档编写
攻克特定场景下的抓取难题
⭐最低要求
计算机软件或相关专业本科及以上学历
熟悉网络协议（如HTTP、HTTPS）、Web抓取技术，浏览器渲染原理等
熟练掌握编程语言：C/C++/Python
有实际的爬虫开发经验，熟悉Scrapy、BeautifulSoup、Selenium等爬虫框架和工具
有网络安全意识，了解多种破解反爬策略，具备APP、Web逆向分析能力以及识别和规避风控风险的能力
优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情
思路清晰，具备良好的沟通能力和理解能力，工作积极主动，具有强烈的责任心，良好的团队合作精神