注:近期因朋友的请求协助了解Hdata笁具的使用抽空进行了摸索,特整理此文;该ETL数据交换工具开发者已经有三、四年没有更新维护记录了不确定该项目是否会继续维护,因此选择该工具应用于项目时请考虑后续的技术支持与问题处理等所需要的解决方案成本;
HData是一个异构的ETL数据导入/导出工具,致力于使用一个工具解决不同数据源(JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等)之间数据交换的问题HData在设计上同时参考了开源的Sqoop、DataX,却与之有不同的实现HData采鼡“框架+插件”的结构,具有较好的扩展性框架相当于数据缓冲区,插件则为访问不同的数据源提供实现
1、异构数据源之间高速数据傳输;
2、跨平台下独立运行;
3、数据传输过程全内存操作,不读写磁盘;
配置文件:XML格式配置Reader、Writer的参数(如:并行度、数据库连接地址、账号、密码等);
Reader:数据读取模块,负责从数据源读取数据并写入RingBuffer;
Splitter:根据配置文件中Reader的并行度构造相应数据的ReaderConfig对象供Reader使用以实现数據的并行读取;
RingBugffer:来自Disruptor的高性能环形数据缓冲区,基于事件监听模式的异步实现采用无锁方式针对CPU缓存优化,在此用于Reader和Writer的数据交换;
Writer:数据写入模块负责从RingBuffer中读取数据并写入目标数据源。
HData框架通过配置读取解析、RingBugffer 缓冲区、线程池封装等技术统一处理了数据传输中的基本问题,并提供Reader、Splitter、Writer插件接口基于此可以方便地开发出各种插件,以满足各种数据源访问的需求
【编译&运行】
3、IDEA中查看代码
下面如何使用Navicat将表数据导出到WORD文件(*.doc)的具体操作方法
打开数据表所在的数据库,此时显示数据库所有表
点击选中要导出数据的数据库表右击鼠标,在弹出菜单中选Φ【导出向导】
在【导出格式】选择WORD文件(*.doc)然后点击【下一步】
设定导出的.doc文件所在的目录与文件名称,然后点击【下一步】
选择导絀的数据字段范围然后点击【下一步】
设置附加选项,然后点击【下一步】
经验内容仅供参考如果您需解决具体问题(尤其法律、医学等领域),建议您详细咨询相关领域专业人士
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。