今天我们来讲python反扒,本人写这些只是为了记录我的学习以及供别人参考,无他意爬虫本就是黑客技术,但我们要做一个正直的人!!!
#IP代理池构建的第一种方案(適合于代理IP稳定的情况)
因为是第三方库所以使用前需偠cmd安装
安装完成后import一下,正常则说明可以开始使用了
各种请求方式:
同添加headers方法,代理参数也要是一个dict
这里使用requests库爬取了IP代理网站的IP与端口和类型
因为是免费的使用的代理地址很快就失效了。
这里只是展示一个基本的爬虫实唎作为练手,就不做改进了.
1.保存和显示的格式可以更美观
2.将标题分割为歌手和歌名
3.将数据存入数据库,然后进行相关的数学分析和统计等…
今天我们来讲python反扒,本人写这些只是为了记录我的学习以及供别人参考,无他意爬虫本就是黑客技术,但我们要做一个正直的人!!!
#IP代理池构建的第一种方案(適合于代理IP稳定的情况)
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。