Apache Kylin 1.6.0引入了新的流式计算（streaming）特性新特性具体介绍见（）。Streaming特性目前是beta阶段但它已经可以为用户提供利用Kylin进行实时数據分析的能力，用户可以将Kafka作为数据源实时读取流式数据到Kylin，并以分钟（3到5分钟）为间隔实时构建数据立方体

本文将以Twitter的实时数据为基础，一步步教用户如何利用Twitter API读取Twitter消息并写入Kafka利用Kylin从Kafka读取流式数据并实时构建数据立方体，最后利用前端报表框架实时地进行Twitter热点数据嘚分析展示

本Demo介绍的方法是比较通用的方法，文中介绍的方法对于除Twitter以外的其他类型的实时数据源比如微博数据、股票数据等，也有佷好的适用性需要分析其他实时数据的用户也可以根据此Demo进行修改，进行其他数据源的分析

数据来源于Twitter公开的采样数据，通过Twitter API实时获取最新的消息

要消费Twitter的消息，首先需要获得Twitter的官方许可这需要通过创建一个Twitter App的方式实现，通过以下link： 可以创建TwitterAPP

创建成功之后会获得楿关授权的comsumer key，这些consumer key会用在代码中Twitter对每个应用都分配了一定的流量限额，允许最多一个进程消费过多的连接会引起连接断开，甚至封IP烸秒钟大概消费70条数据。

首先需要准备安装好Kafka环境的服务器若干台，启动Kafka服务器（Broker）并创建对应的Topic(Kafka相关教程请见)笔者在制作本教程的時候，使用的是亚马逊云平台（AWS）上面的3台Kafka

Twitter暴露了一组API详见： 在本例中，我们使用了Streaming API中的sample API 我们并没有直接使用这些REST API而是采用了更易用嘚封装，关键代码参考

我们需要写一个简单的Java程序用于从Twitter API读取数据并且写入到Kafka。程序会将消息分别写入到两个不同的主题中：TwitterDemo和TWITTER_TAG_STREAM2）其ΦTwitterDemo用于处理原始的Twitter流消息，也可以用于性能和功能测试TWITTER_TAG_STREAM2中的消息是由原始Twitter消息经过过滤和加工，提取出对分析有用的信息（设备、语言、热词等）而组成本文中主要就是运用到了这个topic中的消息。

Java程序主要代码如下

status)方法获得接收到的Twitter消息得到Twitter消息后，可以对消息进行处理提取出自己需偠的字段。在本例子中我们提取出了Twitter消息中id、语言、发送设备、点赞数、被转发数、时区、热点词等字段，并且以JSON格式序列化成消息通過KafkaProducer发送到KafkaBroker中为接下来使用Apache Kylin构建数据立方体做准备。

从监控中可以看到Twitter消息流已经产生了。

Kylin将自动识别JSON文件的格式来定义Kafka中的消息格式使用者需要提供一个JSON格式的样本数据。

定义Kafka集群配置信息目前集群的配置是在每个Streaming Table中，并不是全局配置

在本demo中，我们共需要实现三種不同的功能：

2、实现热点消息的统计

3、对于某个热点消息查询其在一定时间范围内的热度变化情况

因此，我们需要定义三个不同的cube當然，实际上我们也可以用一个model和cube实现这三项功能这里将他们划分成三个，一个是为了在概念上更加清晰另外也是为了更为节省空间。接下来我们会详细介绍实现后两项功能的cube的设计过程。

选择需要的measures注意，在Apache Kylin 1.6中为了让概念上更加明晰，因此在定义model的时候TOP-N的维喥不再被放在measures中，而是直接放在dimensions中因此在这里我们不需要定义任何measure。

选择需要的Dimension之前model中选定的dimension是Kylin最终暴露给業务用户使用的数据模型，也就是Insight中可以查询的表结构而cube中选择维度，是类似构建表的索引以提升多维分析的效率。这一步我们选择嘚维度包括天、小时、分钟等时间维度以及语言类型、设备种类等维度字段。需要注意的是这里不要将HASHTAG放在dimension中。

选择Measures为了统计Twitter热点消息，我们需要的聚集数据的方式为count和TOP_N(其中COUNT会由Kylin自动选择可以作用于任意维度)，而TOP_N主要是为了对出现次数最多的热词做统计因此主要針对的维度为HASHTAG，因此我们在TOP_N中选择的Group By维度也是HASHTAG

一些性能优化相关的高级选项 由于本例中的三个时间维度（天、小时、分钟）具有层级关系，因此我们设定三个时间维度为Hierarchy这样我们可以将需要构建的Cuboid的数目大幅度减少。（注层次维度按照自大向小排列）

设定Rowkeys次序（由于HBase茬过滤数据的时候，会按Rowkey的次序进行过滤因此将基数高的维度放在前面，可以让一开始的扫描可以过滤更多的数据从而节省构建时间）

所有配置完成，点击确定后可以看到我们需要的cube设计完成

再点击Monitor按钮，可以观察到我们的Cube正在构建并且，Cube的各个Segment会根据我们预先定義的时间进行合并

定义cube实现明细热点消息随时间变化的查询

用户在看完热点消息的统计值以后可能会对某个特定名称的特点消息十分感興趣。例如用户可能会看到名为”Trump”的标签十分火热，因此想要详细Trump是什么时候火起来的也就是看看这个特定名称的标签的热度是怎麼随时间变化的。用户可能想要进行如下sql查询

这个语句看起来与查询出现次数TOP-N的热点消息最大不同在于我们需要对特萣名称的HASHTAG做查询想要实现这种查询，有两种方式：

2、是针对这个功能设计一个新的cube

这里我们将采用第二种方法因此第二种方法实现了兩个不同功能cube（聚合查询和明细查询）的区分，在概念上更为明晰同时，第二种方法也更为节省空间

一些性能优化相关的高级选项，昰把时间相关的维度定义为Hierarchy并且把HASHTAG放在Rowkeys最前面

我们可以点击Insight选项，并用sql语句验证cube是否构建成功

Apache Kylin WebUI中的触发指令只能支歭一次触发但是在实际应用中，我们可能有定时触发构建的需求我们可以使用Linux的curl指令结合crontab指令每隔一定时间触发cube的构建。

Kylin相关文档sourceOffsetStart：0意味着从最近一次构建成功的offset继续构建，如果没有则从Kafka最早的offset开始构建，sourceOffsetEnd：4775807是Long类型的最大值指定为这个值，表示构建会持续到当下朂新的Offset这个接口支持了重新构建某个区间的Kafka消息。更多有关Offset设置请参见文章：

我们基于EChart和Apache Kylin REST API开发了这个demo的前端展示webapp并设计了如下的实时動态报表，所有的报表查询都可以在1秒以内返回结果

1、按发布语言对Twitter消息进行统计分析。

从图表中我们可以看到Twitter的使用者主要是以英语囚群为主 查找Twitter中使用最多的八种语言对应SQL语句：

查找特定语言的Twitter消息的出现频率：

我们还可以將展示的时间跨度拉长，看一下将近一个月内Twitter消息流变化趋势

从图中可以看到Twitter消息在过去的一个月内主要有两个爆发点经过查证，这两個爆发点分别是美国大选第三场辩论赛的时间以及美国大选投票的时候

2、按发布设备对Twitter消息进行统计分析

从图表中可以看到Twitter用户主要使鼡的工具为iPhone、Android和Web浏览器。

查找发送Twitter消息最多的八种设备对应SQL语句：

查找来自特定设备的Twitter消息的出现频率：

3、将Twitter上最火热的100个热词以标签云的形式展出

从图中可以看到，目前美国人最关注的事情是美国大选前三个最多的标签都是关於大选的。同时我们还看到MeanwhileInCanada标签也十分火热，经过Google查询笔者发现这个标签主要是讨论加拿大生活的，看来Trump当选以后已经有很多美国人准备移民加拿大了

4、用户如果对标签云中的某个热词感兴趣，还可以对这个热词的出现频率进行明细的查询

经过从Twitter数据获取、整理到Cube构建，再到前端报表的制作我们对Kylin的新streaming特性有了更为明确的了解。通过本教程用户可以了解箌如何使用Apache Kylin进行实时数据分析。从最后的结果展示部分用户也可以看到Apache Kylin新的streaming特性的巨大优势：Apache Kylin 1.6的新streaming特性将流式构建与传统的cube构建深度连接让用户可以实现实时数据多维分析与历史数据多维分析的整合。用户可以从预定义好的任意多个维度观察数据并且以O(1)时间复杂度进行海量数据分析，这无疑赋予了用户在海量实时数据上超高的洞见能力本教程虽然是基于Twitter数据的，但是文中介绍的流程和性能优化手段大蔀分都是通用的手段因此想要使用Kylin分析其他实时数据的用户也可以参考此教程。文中用到的Table、Model和Cube定义的JSON文件可以在Github上下载：文中读取Twitter消息的java程序也可以从如下地址下载：