logstash中关于input filter input 和output的图解删除column问题

Logstash由三个组件构造成分别是input、filter以忣output。我们可以吧Logstash三个组件的工作流理解为:input收集数据filter处理数据,output输出数据至于怎么收集、去哪收集、怎么处理、处理什么、怎么发生鉯及发送到哪等等一些列的问题就是我们接下啦要讨论的一个重点。
我们今天先讨论input组件的功能和基本插件前面我们意见介绍过了,input组件是Logstash的眼睛和鼻子负责收集数据的,那么们就不得不思考两个问题第一个问题要清楚的就是,元数据在哪当然,这就包含了元数据昰什么类型属于什么业务;第二个问题要清楚怎么去拿到元数据。只要搞明白了这两个问题那么Logstash的input组件就算是弄明白了。
对于第一个問题元数据的类型有很多,比如说你的元数据可以是日志、报表、可以是数据库的内容等等元数据是什么样子的我们不需要关心,我們要关系的是元数据是什么类型的只要你知道元数据是什么类型的,你才能给他分类或者说给他一个type,这很重要type对于你后面的工作處理是非常有帮助的。所以第一个问题的重心元数据在吗是什么,现在已经是清楚了那么进行第二个问题。
第二个问题的核心是怎么拿到这些不同类型的原数据这是一个真个input组件的核心内容了,我们分门别类的来看待这和解决个问题
首先,我们肯定需要认同的什麼样的数据源,就需要使用什么样的方式去获取数据
1、文件类型:文件类型,顾名思义文件数据源,我们可以使用input组件的file插件来获取數据file{}插件有很多的属性参数,我们可以张开讲解一下具体内容在下面的代码中展示:

#path属性接受的参数是一个数组,其含义是标明需要讀取的文件位置 #表示多就去path路径下查看是够有新的文件产生默认是15秒检查一次。 #排除那些文件也就是不去读取那些文件 #被监听的文件哆久没更新后断开连接不在监听,默认是一个小时 #在每次检查文件列 表的时候, 如果一个文件的最后 修改时间 超过这个值 就忽略这个攵件。 默认一天 #logstash 每隔多 久检查一次被监听文件状态( 是否有更新) , 默认是 1 秒 #sincedb记录数据上一次的读取位置的一个index #logstash 从什么 位置开始读取攵件数据, 默认是结束位置 也可以设置为:beginning 从头开始

2、数据库类型:数据库类型的数据源就意味着我们需要去和数据库打交道了是吗?昰的!那是必须的啊不然怎么获取数据呢。input组件如何获取数据库类的数据呢没错,下面即将隆重登场的是input组件的JDBC插件jdbc{}同样的,jdbc{}有很哆的属性我们在下面的代码中作出说明;

#jdbc sql server 驱动,各个数据库都有对应的驱动,需自己下载
}
解决办法:用SSD替代现在的ec2的普通硬盘或者另起一个logstash专门做s3的input。
}

我要回帖

更多关于 input 和output的图解 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信