使用亿牛云爬虫使用代理代理出现407如何解决？

天天发财游戏网

你的位置：网站首页 >> 频道首页 >>python >>使用亿牛云爬虫使用代理代理出现407如何解决？

使用亿牛云爬虫使用代理代理出现407如何解决？

点击联系发帖人 时间：2019-03-22 09:36

爬虫使用代理

有提供爬虫使用代理代理的代码礻例吗... 有提供爬虫使用代理代理的代码示例吗？

你用的是python的哪个模块每个模块引入的方式不同

你对这个回答的评价是？

你好下面是┅个亿牛云爬虫使用代理道理的python 配置代码。

# 要访问的目标HTTPS页面

本回答由上海博好网络科技有限公司提供

}

让对方截图看看代理代码代理信息是否提取配置正确。重点注意必须使用代理域名不能是代理服务器IP。
要求对方复制demo然后加上ua随机优化，按照所开代理的请求数按照300毫秒为单位进行管理，运行程序后统计错误信息和http的状态码
原因：对方是否有防火墙，导致无法链接我们服务器；对方开的代理是否过期
原因：代理认证信息失败，让对方严格按照demo配置代理信息
原因：请求超过代理限制严格按照所开代理的请求数，按照300毫秒为单位进行管理如果限制之后，既然大量429需要优化爬虫使用代理策略，应该是目标网站返回的错误提示
原因：访问的是https网站，会自动跳轉一次正常现象；访问的http网站，网站拒绝服务大量302需要优化爬虫使用代理策略
原因：少量不影响，大量403或504需要优化爬虫使用代理策略
原因：http请求的超时设置为10秒尤其是对方访问国外网站的时候。
（2）没法确认代理是否使用
要求对方直接复制demo访问/3133

}

天天发财游戏网