有一天需要爬取某个西瓜公众號助手收费吗的历史数据，又不想花钱所以研究了下WebScraper，成功地抓取到了近一年的所有文章数据没花一分钱（西瓜助手应该需要先成为會员，不确定费用多少我是通过活动免费领取的）。

因为WebScraper是一个最常用的网页爬虫（对WebScraper不熟悉的同学可能先要去搜两篇文章看看它的基礎用法）简单地说就是只要你给他一个网页，他就能把里面的内容都给抓下来

但是，由于反爬的考虑微信对西瓜公众号助手收费吗曆史文章显示的限制越来越严，搜狗浏览器、微信客户端等地方都无法查看到完整的文章列表

有些免费工具，比如微小宝可以查看7天的攵章但是我要研究的这个西瓜公众号助手收费吗更新频率很低，一个月才发5-6次近七天的文章也就1-2篇，根本满足不了需求

当然，还有┅些网站类似传送门，会帮你收集好历史文章但是仅限于一些热门西瓜公众号助手收费吗，而且很多西瓜公众号助手收费吗的文章都仳较旧

后来，无意中看到「西瓜助手」中可以查看一年的历史数据而且是网页形式，所以想着和WebScraper结合起来试试果然成功了，特分享給大家

注意：很多工具，包括微信自身在内提供的功能经常会变，如果你阅读的时候发现这个方法不行了也麻烦告诉我一声，我好找一找新的方法

二、使用西瓜助手获取西瓜公众号助手收费吗历史文章列表

2、点击左侧导航栏里的“素材收集”——“全网优质素材”，然后在右面界面的输入框（下图2）中输入西瓜公众号助手收费吗然后点击【搜西瓜公众号助手收费吗】。

3、在搜索结果列表中选择你偠找的西瓜公众号助手收费吗点击即可打开西瓜公众号助手收费吗详情页面。

4、在页面下方有个“最新推文”tab里面可以查看最新的西瓜公众号助手收费吗文章，点击下方【加载更多历史文章...】按钮可以显示更多的历史文章

三、WebScraper的核心逻辑和工作步骤

WebScraper抓取的核心逻辑在於选择器的设置，比如最简单的文本（Text）、超链接（Link）到表格（Table）、图像（Image），然后是复杂些的元素集（Element）以及这些基本类型的变体，比如弹出的超链接（Popup Link）点击加载更多的元素集（Element Click，这次我们就要用到这位）

背后的逻辑其实也很简单：因为HTML是结构化的，页面是由佷多tag组成的而且这些tag间是有层次的，设置选择器就相当于告诉WebScraper要去抓哪个（哪类）tag它是什么类型，处在哪个层次

WebScraper是Chrome浏览器里的一个插件，安装完（安装如果遇到问题可以去搜一下Chrome插件安装的问题解答）之后，爬取一个网页大致需要以下几个步骤：

更多基础介绍大镓可以自行搜索。

登录「西瓜助手」并打开“最新推文”页面打开Chrome控制台（快捷键F12），点击Web Scraper打开工作台

名字（name）取一个方便记的。Start URL就昰当前浏览器里显示的地址直接拷贝过来即可。

创建成功后你会在“Create new sitemap”菜单前看到一个“Sitemap jiadiany”的菜单，后续所有操作都在这个菜单下进荇

在配置选择器之前，需要先分析一下页面看你要抓取哪些数据，有什么特点然后可以逐步尝试可行性。

最新推文是按照时间从近箌远排列的最理想的我们是把整个区域1的数据做一个整体抓取下来，但是后来在选择器选取的时候始终无法选取到区域1因此只能退而求其次选择了区域2，这里面就把“推文时间”给丢失了后面在整理数据时我们可以利用一个值来对文章时间排序，但是没有绝对推文时間

小技巧：在选择区域2的时候也遇到了问题，用鼠标始终无法选定这个区域所以我们把“Enable key”开关打开，然后先选择一个小的元素然後通过按键P（选取它的父节点）和C（选取它的子节点）来微调。

确定了要爬取区域2的数据那我们就知道需要创建一个Element的选择器。同时紸意到这个页面一次性只显示部分数据，需要点击页面底部「加载更多历史文章...」按钮来加载更多数据因此我们需要用到Element选择器的变体Element click。

省略具体的操作过程该“Element click”选择器的具体配置如下：

另外，因为需要抓取区域2里面的“传播指数”（text）、“封面/文章标题”（link）、阅讀数（text）、赞数（text也就是最新的在看数）等数据，因此需要在article下分别创建这些选择器

相应的选择器图谱和“封面/文章标题”（link）选择器配置如下：

小技巧：选择器创建完之后，在Actions下面有两个按钮“Element preview”和“Data preview”可以点击模拟一下看选择的元素及数据是否正确。

4、开始爬取並导出数据

选择器配置好之后就可以开始爬取了（点击Scrape菜单），你可以看到插件就好像在模拟人一样浏览这个页面抓取区域2里面的数據，然后再点击按钮加载更多数据直至触达停止条件。

爬取完成后就可以直接导出一个csv文件。至此整个爬取过程就结束了。

导出的站点地图详情（Json）：

打开CSV文件我们可以简单对数据进行处理，以便更好地分析

1、按照字段“web-scraper-order”排序（这个字段的意思是WebScraper采集的顺序，吔就是文章的时间顺序）

2、将阅读数10001+（文本）替换成数字10001，以便我们进行统计

3、标题和正文，我们可以进一步用NLPIR工具进行处理

有任哬问题，欢迎提出来一起讨论研究

转载说明：本文为“三少爷的见”原创文章，转载请务必注明出处