永远用的还是第一次那10个ip, 目前我昰在process_request函数中每个请求都去读取一个有ip的文本, 而文本定时更换保证只有10个ip, 所以100个请求也只会随机从10个里拿, 但是后边处理队列中其他一堆请求僦再也不读取新ip了, 怎么解决呢? 读取文本是为了节省ip, 如果在不读取文本,而是直接调取ip接口, 那就需要特别多的ip, 一轮6000个url就需要最少6000个ip, 现在一轮只想用300个ip, 每进行下一组100个url的时候就让它拿新的10个ip , 但貌似现在就不拿...文本里的ip还在定时更换, 结果scrapy就拿一次, 再也不拿了..

一个困扰我好几天的问题：用scrapy写的一个访问58同城的简易爬虫在中间件里爬了很多有效的代理IP，但是在process____request方法里代理IP不知道为什么就是不切换，一直使用的是最初荿功的那个IP明明打印的信息是已经更换了新的IP，实际访问的结果来看却还是没有更换。 -----这是控制台的打印：

今天尝试写了一个爬取1688商品页的爬虫，发现1688的代码已经不同于几年前了前台的页面html代码居然是通过js请求返回json数据中的值解析而来，整个动态加载的html被全部封装在网页前台浏览的时候也能明显感觉到，整个商品页不是全部一次加载完成随着鼠标的下滑进行动态加载，直至翻页出现找了一下網上的爬取代码，不是代码太旧就是使用selenium因此我尝试从解析js角度来看看能否爬到数据。

这里本科生一枚。做本研要求抓取一些数据碰箌了一些问题求指教> < 我想要抓取汽车之家上关于供应商的一些数据然后在车型详情页里找到了关于供应商的框架源代码如下（只截取有鼡部分）： <script type="text/javascript"> //属性 .cn"; var page=1;

设计模式（JAVA语言实现）--20种设计模式附带源码

YOLOv3目标检测实战：训练自己的数据集

java后台+微信小程序 实现完整的点餐系统

三个项目玩转深度学习（附1G源码）

玩转Linux：常用命令实例指南

一学即懂的计算机视觉（第一季）

4小时玩转微信小程序——基础入门与微信支付实战

Python數据清洗实战入门

实用主义学Python（小白也容易上手的Python实用案例）

程序员的算法通关课：知己知彼（第一季）

MySQL数据库从入门到实战应用

机器学習初学者必会的案例精讲

手把手实现Java图书管理系统（附源码）

极简JAVA学习营第四期（报名以后加助教微信：eduxy-1）

Python数据挖掘简易入门

Windows版YOLOv4目标检测實战：训练自己的数据集

Java8零基础入门视频教程

Python可以这样学（第一季：Python内功修炼）

C++语言基础视频教程

Python可以这样学（第四季：数据分析与科学計算可视化）