谁是卧底发牌助手，最贴心的谁是卧底线下助手，无需纸笔，不用卡牌，一键发牌，快速开局。

1.微信内点击+号->扫一扫->扫描页面上方小程序码->打开小程序

2.在微信->发现->小程序，里面搜索谁是卧底发牌助手找到并打开

前几天(寒假前咯)闲着无聊，看到舍友们都在看斗鱼TV，虽然我对那些网络游戏都不是非常感兴趣,但是我突然间想到，如果我可以获取上面的弹幕内容,不就有点意思了么？

如果我想要抓取网页上面的东西，无非就是两种方法

使用浏览器，手工（自己点击）或者非手工（使用JS脚本），存取我想要的东西。
编写HTTP客户端（斗鱼无HTTPS通讯）
第一种方法是万能的，但显然是不行的， 原因如下：

手动保存实在是不可行，程序员不为也。
浏览器与本地交互有限，换而言之，也就是即使我抓取了对应的弹幕，我也没有办法解决持久化的问题。
假设你选择的是Chrome或者firefox浏览器，也不是不能实现持久化，但这需要写扩展,Chrome扩展没有写过，也不是很感兴趣。
第二种方法显然是一个正常的程序员的做法。

写一个客户端，也就是写一个小爬虫,使用的场景:

回想一下抓取网站的方法

四步走：请求网页（原始数据） - 提取数据（提纯数据） - 保存数据 - 分析数据

很显然，只要解决了请求网页，其他的也就无非解析和SQL语句什么的。

1.1.斗鱼TV弹幕抓取的思路确定
如果是像我上面说的那么简单，也就不必再写一篇文章。毕竟，网页小爬虫没有什么技术含量。分布式爬虫才有。

通常情况下的网页小爬虫无非要解决如下问题：

请求，如果对方有一定策略的反爬虫，那需要反反爬虫。比如，

需要验证，那就申请用户名和密码，然后登陆
如果在登录时期有防跨站机制，那就先获取一次登录页面，然后解析出token，带上对应的token然后登陆。
在程序中加入Log，并且存到本地。防止出现各种各样的反爬虫机制ban掉了程序，从而方便进行下一步防反爬虫对策。
并且，由于请求响应机制的存在，通常情况下，每一个请求对应一个响应,如果出错了，要么超时，要么有状态码，所以普通的web爬虫也相对而言比较容易些。

那么，斗鱼TV的站点是不是这样子的就能够容易爬取呢？

你猜到了，答案是“不是”。

由于弹幕具有实时性，就决定了斗鱼TV的弹幕无法通过保存完整指定时间端弹幕的XML（比如BILIBILI的一个视频弹幕是存在一段xml中的）或者Json数据来显示弹幕。要不然的话，那主播操作很出色的时候，观众的弹幕岂不是无法实时显示了么？

那么，肯定就是WebSocket了，于是，我一如既往的打开F12，查看网络流量。

正如你想到的那样，没有任何的弹幕流量来往。一个WebSocket的消息都没有。

那么，消息肯定是有的，但是消息并不是通过HTTP协议或者WebSocket协议传输的，那么问题会出在哪呢？

分析前端的代码，找出获取弹幕的JS代码，苦于代码太多，找了很久没有找到。那也就是执行逻辑可能在flash里面。

于是祭出大杀器WireShark，抓一下流量。终于看到弹幕的样子了。

那么,我们只需要模拟Socket的每一条消息就好了.

多分析几组数据，但还是对发送消息内容缺乏把握，特别是在用户认证，用户接收弹幕这一块。在搜索引擎上搜索了一阵，发现知乎上有个帖子，读完终于解了我的疑惑。

地址为: 如何获取斗鱼直播间的弹幕信息？ - Python

在此基础上,省略若干消息分析过程。

总结后得出斗鱼TV网站的服务器分布。

1.2.房间信息和弹幕认证服务器获取
首先我们拿随便一个主播房间来说，比如，qiuri

Ta的房间链接分为两种

直播互动赢点卡 暴雪游戏闹新春
对这个主播房间页面请求，正常，所有的有用信息都不是放在HTML中渲染出来，而是有一条放在HTML中内置的JS脚本中，这是为了减少服务器渲染HTML的压力？可是渲染放在JS里面不也一样需要渲染？（不明白）总之，就是程序先加载没有具体数据填充页面，然后JS更新数据。

内置的两段JS脚本，JS脚本中有两个变量，该变量很容易转换成JSON数据，也就是两段JSON数据，一个是关于主播的个人信息，另一个是关于弹幕认证服务器的列表（该列表中的任意一个服务器均可以认证，但每一次请求主播页面得到的认证服务器列表都不一样）

通过这步，我们就拿到了主播的信息以及弹幕服务器的认证地址，端口。

我们通过抓包，分析那一大坨数据包，可以确定以下通过以下的流程便可以获取弹幕消息。（分析过程比较繁琐）

2.1.消息Socket消息格式以及发送一条消息
既然是发消息，那么每条消息总是有些格式的。

斗鱼的消息格式大致如下：

每一条消息并遵循下面的格式：

1.通信协议长度,后四个部分的长度,四个字节
2.第二部分与第一部分一样