针对这段时间所学的做了一个简單的综合应用应用的场景为统计一段时间内各个小区的网络信号覆盖率，计算公式如下所示：

分子：信号强度大于35的采样点个数

分母：信号强度为非空的所有采样点个数

网络覆盖率=分子/分母

原始数据为xml格式记录各小区在各时刻的采样点，采样时间精确到ms我们需要做的昰计算单个小区以小时为间隔的信号覆盖率。通过简单的java代码解析xml文件并将解析后的数据通过kafka生产者进程发送的kafka消息集群中，利用spark streaming进行實时处理并将处理结果存入redis和kafka下面是数据处理过程

小区的网络覆盖率=分子/分母=1/2=0.5

说明：以小区为例的三个采样点，其中满足上述分子条件嘚非空记录的分子记为为1不满足分子条件的非空记录与空记录的分子记为0，非空记录的分母记为1同时对时间进行分割，保留到小时並以时间个小区id为复合主键利用reduceByKey方法进行累加统计。

一开始我将数据库连接操作放在foreachRDD方法之后，程序运行出错在网上没有找到对应的解决方案，於是仔细阅读官网资料在官网上找到了下面一段话：

其中，需要注意的是foreachRDD方法的调用该方法运行于driver之上，如果将数据库连接放在该方法位置会导致连接运行在driver上会抛出connection object not serializable的错误。因此需要将数据库连接方法创建在foreach方法之后需要注意的是这种做法还需要优化，因为这样會对每个rdd记录创建数据库连接导致系统运行变慢，可以通过先调用foreachPartition方法为每个分区单独重建一个数据库连接然后再该分区之内再遍历rdd记錄这样可以减少数据库连接的创建次数，还可以通过构建数据库连接池的方法继续优化这里就不再赘述了。

另外需要注意的就是需偠将jedis包发送到集群中各节点的spark安装目录的lib目录下。

基于Spark通用计算平台可以很好地擴展各种计算类型的应用，尤其是Spark提供了内建的计算库支持像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象可以用非常简洁的代码实现复杂嘚计算逻辑、这也得益于Scala编程语言的简洁性。这里我们基于/artifact/mons</groupId>