• 发送主页请求获取响应
• 利用xpath提取一级、二级、三级分类的名称和三级分类对应的图书列表页url
• 对图书列表页发送请求，获取响应
• 利用xpath提取图书的名称、价格信息以及下一頁url

3、运行爬虫保存数据

1、价格信息的获取，测试发现价格信息不在请求的列表页中通过抓包确定了价格信息所在的URL，并且该URL随着网页嘚滚动动态生成

于是通过对比多个URL，并尝试不断精简最终发现规律：

prdid, shopid可以在列表页中提取得到，进而构造出每本图书的价格地址

 2、列表页下一页URL通过判断每一页是否有“下一页”这个标志进行翻页循环

• # 图书详情页处理方法 # 图书作者信息字符串处理

一、简单实例了解基本。

著作權归作者所有商业转载请联系作者获得授权，非商业转载请注明出处

三十、python scrapy 的概念、安装、使用和案唎

ScrapyPython开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据Scrapy用途广泛，可以用于数据挖掘、监测和

安装前所需安装：  在官网汇中找

运行上面的shell出错：