用 这个网站测试过ip地址确实在动态改变。 第一次用阿布云的一个隧道服务器正常爬取了100多个数据,再次进行爬取的时候,重新购买了一次阿布云,爬了一会儿发现本机的ip被豆瓣封了,需要登录解除异常,爬虫返回的日志中大量返回302,如图
因为需要大量的豆瓣同城的数据,怎么解决这个反爬问题?
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。
点击添加站长微信