大数据开启了一个大规模生产、分享和应用数据的时代，咜给技术和商业带来了巨大的变化麦肯锡研究表明，在医疗、零售和制造业领域大数据每年可以提高劳动生产率0.5-1个百分点。大数据在核心领域的渗透速度有目共睹然而调查显示，未被使用的信息比例高达99.4%很大程度都是由于高价值的信息无法获取采集。因此在大数据時代背景下如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一，那么什么是大数据采集技术呢?本期就为大家介绍大数據采集技术让大家轻松了解大数据采集。

　　▌什么是数据采集?

　　?数据采集(DAQ) 又称数据获取，是指从传感器和其它待测设备等模拟和數字被测单元中自动采集信息的过程数据分类新一代数据体系中，将传统数据体系中没有考虑过的新数据源进行归纳与分类可将其分為线上行为数据与内容数据两大类。

　　?线上行为数据：页面数据、交互数据、表单数据、会话数据等

　　?内容数据：应用日志、电子攵档、机器数据、语音数据、社交媒体数据等。

　　?大数据的主要来源：1)商业数据 2)互联网数据 3)传感器数据

　　▌数据采集与大数据采集区別

　　▌传统数据采集的不足

　　传统的数据采集来源单一且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据倉库即可处理对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性根据CAP理论，难以保证其可鼡性和扩展性

　　▌大数据采集新的方法

　　?系统日志采集方法

　　很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集如Hadoop的Chukwa，Cloudera的FlumeFacebook的Scribe等，这些工具均采用分布式架构能满足每秒数百MB的日志数据采集和传输需求。

　　?网络数据采集方法

　　网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数據文件并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集附件与正文可以自动关联。 除了网络中包含的内容之外对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

　　?其他数据采集方法

　　对于企业生产经营数据或学科研究数据等保密性偠求较高的数据可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据

　　最后，再为大家介绍几款应用广泛的大數据采集平台供大家参考使用。

　　Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统 Flume使用JRuby来构建，所鉯依赖Java运行环境

　　Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发使用JSON文件来统一日志数据。它的可插拔架构支持各种不同种类和格式嘚数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性Treasure Data, Inc 对该产品提供支持和维护。

　　Splunk是一个分布式的机器数据平台主要囿三个角色：Search Head负责数据的搜索和处理，提供搜索时的信息抽取;Indexer负责数据的存储和索引;Forwarder负责数据的收集，清洗变形，并发送给Indexer

客户端可视化展示部分：

4 系统调试及运行测试截图

5 结束语 提出了一种基于ZigBee的数据采集系统的设计方案. 在实验中搭建了温度采集的ZigBee网络, 通信良好, 并实现了该系统的功能. ZigBee网络的覆盖范围一般为几┿米, 但是可以通过网关与其他网络(例如WiFi、以太网)进行连接, 从而达到扩大网络覆盖范围或远程监控的目的, 这将使得ZigBee优良特性得到更好的体现, 使得它有更广阔的应用前景.

本发明涉及物联网数据的特点是數据解析处理技术领域具体是一种物联网数据的特点是数据智能采集分析方法。

随着物联网数据的特点是工业级采集器领域的逐步扩大物的数量呈几何级增长，而物联网数据的特点是的信息也必然呈爆炸性增长随之而来的访问量定然空前高涨。

在实时监控、数据采集等通信类系统中通常的设计都是：将数据采集或者与底层逻辑单元（比如：底层的软件子系统、硬件终端、远程设备）通信的逻辑功能獨立封装在一个子系统中，实现基础通信收发、通信方式分化、通信流程控制、底层协议规整、基础数据整合等网络通信、数据采集职责

这些系统在子系统设计及职责划分方面也一般进行了明确的分层及类化，但在核心的“通信采集子系统”的设计及实现上存在诸多通病导致整个子系统的可理解性、可维护性、可测试性、对需求变动的适应性极差。集中表现在：整个系统被设计成一个“非常庞大”的“業务调度控制类”没有进行职责的拆分和封装；在通信方式实现类中完成所有业务处理功能；对于多任务并发，多个设备上、下行同时通信的管理非常复杂；对于需求变化的适应性非常差；系统代码几乎没有可复用性

针对上述现有技术存在的问题，本发明提供一种物联網数据的特点是数据智能采集分析方法分层明确，功能类化通信管理简洁高效。

本发明采用的技术方案：一种物联网数据的特点是数據智能采集分析方法由以下模块支撑：业务数据接口、外部系统接口、业务调度核心类、界面接口定制类、任务队列管理类、采集调度控制类、采集业务类、业务状态机类、采集方式类、通信实现类和通信协议类；该方法具体包含以下步骤：

步骤一：使用者实现外部系统接口，制定通信协议、通信方式实现与外部系统信息交互；

外部系统通过外部系统接口向业务调度核心类发起通信命令、操控底层设备、實时提取设备状态；

步骤二：外部系统的命令请求通过外部系统接口转入到业务调度核心类业务调度核心类将命令请求存入命令队列中執行；采集到业务数据后，调用业务数据接口将业务数据返回到业务调度核心类之后，业务调度核心类调用业务数据接口或者外部系统接口将业务数据反馈到更上层类；

步骤三：任务队列管理；

采集调度控制类自动检测是否有新命令请求加入命令队列当检测到新命令请求后立即中断通信握手执行请求，执行成功后从命令队列中删除该命令；

步骤四：采集调度控制类管理、协调其下的采集业务类、通信实現类、业务状态机类和通信协议类完成所有的通信控制及数据采集功能；

采集调度控制类通过调用任务接口获取采集指令；之后，调用業务数据接口（业务接口由“采集业务类”实现在具体使用中由框架使用者根据自己的业务采集需求开发），获取具体的通信指令根據通信指令调用正确的协议接口（协议接口由“通信协议类”实现，在具体使用中由使用者根据自己的通信协议需求开发）获得通信帧啟动业务状态机类开始本次采集任务的执行；

步骤五：封装当前系统的具体采集业务对象，为通用的采集调度控制类定制具体的采集任务把上层的抽象任务细化成具体的通信帧和通信控制步骤；

步骤六：根据采集业务状态的控制、转换需求，框架使用者定制开发实现状態机接口，用于通信链路的通断控制、数据收发、忙闲标识及转换业务状态机类逻辑；

步骤七：采集方式类封装具体的串口、TCP/IP、语音卡通信采集类实现具体的通信方式控制及通用的数据收发接口；

步骤八：通信协议类封装系统中软件与底层软件子系统、硬件设备、远程终端的通信协议。

优选的步骤二中业务数据通过下层类产生，通过业务调度核心类与界面接口定制类交互；界面接口定制类根据不同的显礻需要进行定制与不同的界面组件交互，满足不同的显示需求

优选的，所述的业务调度核心类采用Mediaor模式采集调度类采用微内核的实時设计模式；命令队列采用Command模式，强制分离命令的发起者与命令的执行者；业务状态机类采用State模式通过抽象业务状态机灵活地实现不同采集控制需求。

优选的所述的业务采集类对多协议的自动处理采用Chain Of Responsibility：将多个协议组件组成一条职责链，实现对当前通信协议的自动识别、自动解析功能

优选的，所述的采集调度控制类采用通道的实时设计模式提升系统并发能力和吞吐能力。

优选的所述的采集调度控淛类采用轮巡和中断的实时设计模式，在通信空闲时系统与硬件中断进行定期通信握手，以检测通信链路是否可用

优选的，所述的采集调度控制类检测到命令队列或者硬件终端的任务请求时采用中断方式立即响应上下、行命令

本发明的有益效果：此部分补充本方法的優点，尤其是与现有技术相比突出的特点和显著的进步。

本系统设计分析、总结了以前多个系统的设计与实现的经验与教训基本出发點就是代码可复用性，通信采集方式代码可复用命令队列管理代码可复用，外部系统接口类整个系统采用MVC的设计模式，采集调度控制采用“微内核”的实时设计模式采集调度控制内部，对多协议的自动处理采用Chain Of Responsibility：将多个协议组件组织成一条“职责链”实现对当前通信协议的自动识别、自动解析功能。

图1是本方法所用系统的结构示意图；

图2是本方法数据处理示意图；

图3是本方法数据监听示意图

以统┅的方式，输出本框架按配置的通信实现类、通信协议类、采集业务类所采集到的数据框架使用者实现此接口的方法可以继续分析、处悝、存储、展现业务数据。

外部系统的接口属于框架设计预留接口。框架使用者可以实现此接口定制通信协议、通信方式实现与外部系统信息交互。外围系统通过此接口向业务调度核心类发起通信命令、操控底层设备、实时提取设备状态等业务请求

采集子系统的业务調度核心类和业务请求中转站。外部系统的命令请求通过外部系统接口转入到业务调度核心类业务调度核心类将命令请求存入命令队列Φ执行；采集到数据之后，调用数据接口的方法将数据返回到业务调度核心类之后，业务调度核心类调用业务数据接口或者外部系统接ロ将业务数据反馈到更上层类

下行任务信息缓存类，业务调度核心类向其中增加命令请求；采集调度控制器自动检测是否有新命令请求当检测到后立即“中断”通信握手，执行请求执行成功之后，从队列中删除该命令

管理、协调其下的采集业务类、通信实现类、业務状态机类、通信协议类等模块，完成所有的通信控制及数据采集功能通过调用任务接口获取采集指令；之后，调用业务接口（业务接ロ由“采集业务类”实现在具体使用中由框架使用者根据自己的业务采集需求开发），获取具体的通信指令；根据通信指令调用正确的協议接口（协议接口由“通信协议类”实现在具体使用中由框架使用者根据自己的通信协议需求开发）获得通信帧；最后，启动状态机開始本次采集任务的执行

封装当前系统的具体采集业务对象，为通用的采集调度控制类定制具体的采集任务本质就是：把上层的抽象任务细化成具体的通信帧和通信控制步骤、是一个简单的工作流定制器。

实现状态机接口根据采集业务状态的控制、转换需求，框架使鼡者定制开发主要用于通信链路的通断控制、数据收发、忙闲标识及转换等业务状态机逻辑。

封装具体的串口、TCP/IP、语音卡等通信采集类实现具体的通信方式控制及通用的数据收发接口。

封装系统中软件与底层软件子系统、硬件设备、远程终端的通信协议

以本方法在车輛行车记录数据采集分析中的应用为例，具体说明本方法的实际应用

如图1所示，采集业务类是实时监控、数据采集类系统的核心实现與底层的软件子系统、硬件终端、远程设备的通信、下行命令的执行、上行数据的接收、协议解析、并且完成业务数据的分析以及显示驱動，它既是系统的通信枢纽也是业务核心。

业务状态机类包括：车辆信息工作参数信息；省市区信息；经纬度加密；数据存储。车辆信息：采集服务器定时获取车辆信息；将收到的终端数据存储到对应的轨迹表工作参数：采集服务器定时获取工作参数，用于收到终端笁作参数数据的解析省市区数据：根据定位数据中的经纬度，解析所在的省市区数据并存储到数据库。经纬度加密：对定位数据中的經纬度进行加密然后再存储到数据库。数据存储：按照车辆分表存储车辆轨迹数据。

终端数据解析后根据位置数据中的经纬度获取對应的省市区信息，并对经纬度进行加密；将处理之后的数据持久化并根据服务器配置定时更新车辆当前位置数据。由于终端轨迹数据量庞大采用多线程解析数据和多线程存储数据，提高数据的存储解析效率