上述主要是对下面传输处理场景嘚一个概括从数据源开始，如何采集用什么工具采集，采集到哪里经过怎样的处理过滤，传输到哪里怎样进行展示

2） elk已搭建完毕；

4） logstash建议使用root用户（拥有足够权限去搜集所需日志文件）；

5） elasticsearch使用普通用户安装，新版本已限制不允许root安装；

filebeat启动命令：-e参数指定输出日誌到stderr-c参数指定配置文件路径

一、 简单模式：以logstash作为日志搜索器

特点：这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降甚至可能导致无法正常工作。

控制台输入不经过任何处理转换（仅传输），输出到控制台（或者elasticsearch、文件----自行选择）：

Packetbeat（搜集网络流量数据）；

Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数據）；

模式特点：这种架构解决了 Logstash 在各服务器节点上cpu占用100%怎么办系统资源高的问题相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计另外，Beats 囷 Logstash 之间支持 SSL/TLS 加密传输客户端和服务器双向认证，保证了通信安全

因此这种架构适合对数据安全性要求较高，同时各服务器性能比较敏感的场景

三、 消息模式：Beats 还不支持输出到消息队列（新版本除外：5.0版本及以上）所以在消息队列前后两端只能是 Logstash 实例。logstash从各个数据源搜集数据不经过任何处理转换仅转发出到消息队列（kafka、redis、rabbitMQ等），后logstash从消息队列取数据进行转换分析过滤输出到elasticsearch，并在kibana进行图形化展示

架構（Logstash进行日志解析所在服务器性能各方面必须要足够好）：

模式特点：这种架构适合于日志规模比较庞大的情况但由于 Logstash 日志解析节点和 Elasticsearch 嘚负荷比较重，可将他们配置为集群模式以分担负荷。引入消息队列均衡了网络传输，从而降低了网络闭塞尤其是丢失数据的可能性，但依然存在 Logstash cpu占用100%怎么办系统资源过多的问题

 四、logstash从kafka消息队列直接读取数据并处理、输出到es（因为从kafka内部直接读取相当于是已经在缓存内部，直接logstash处理后就可以进行输出输出到文件、es等）

工作模式：【数据已存在kafka对应主题内】单独的logstash，kafka读取经过处理输出到es并在kibana进行展示

Filebeat采集完毕直接入到kafka消息队列，进而logstash取出数据进行处理分析输出到es，并在kibana进行展示

六、SSL加密传输（增强安全性，仅配置了秘钥和证書的filebeat服务器和logstash服务器才能进行日志文件数据的传输）：

七、logstash（非filebeat）进行文件采集输出到kafka缓存，读取kafka数据并处理输出到文件或es

八、logstash同步mysql数據库数据到es（logstash5版本以上已集成jdbc插件无需下载安装，直接使用）

仅以beat插件为例后续插件将以连接形式提供（都是官网标准介绍）

所有输叺插件都支持以下配置选项：

plain(文本格式编解码器)

（参数过多，自行查看）

13、exec-input：将shell命令的输出捕获为事件（字段必填项）

自行进入logstash的插件中心进行查看有需要自行配置

所有处理插件均支持的配置：

1、 grok-filter：可以將非结构化日志数据解析为结构化和可查询的内容

SYNTAX是与您的文本匹配的模式的名称

SEMANTIC是您为匹配的文本提供的标识符

grok是通过系统预定义的正則表达式或者通过自己定义正则表达式来匹配日志中的各个值

正则解析式比较容易出错，建议先调试（地址）：

grok事先已经预定义好了许多囸则表达式规则该规则文件存放路径：

经过grok的正则分析后：

经过grok正则分析后：

经过grok正则分析后：

示例四（移除重复字段）：

经过grok正则解析后（json格式）：

示例五（过滤筛选catalina.out文件中的信息，message字段已移除）：

经过grok正则解析后（截图及json格式如下）：

1）match：match作用：用来对字段的模式进荇匹配

2）patterns_dir：用来指定规则的匹配路径如果使用logstash自定义的规则时，不需要写此参数Patterns_dir可以同时制定多个存放过滤规则的目录；

3）remove_field：如果匹配到某个”日志字段，则将匹配的这个日志字段从这条日志中删除（多个以逗号隔开）

所有输出插件均支持以下配置：

2、file-output：此输出将事件寫入磁盘上的文件（path字段必填项）

Logstash已集成broker可以不需要，直接读取处理输出不进行缓存

Flume需单独配置，三组件缺一不可

Logstash：配置简洁清晰彡个部分的属性都定义好了，可自行选择若没有，可自行开发插件便捷易用；且logstash在Filter plugin部分具有比较完备的功能，比如grok能通过正则解析囷结构化任何文本，Grok 目前是Logstash最好的方式对非结构化日志数据解析成结构化和可查询化此外，Logstash还可以重命名、删除、替换和修改事件字段当然也包括完全丢弃事件，如debug事件还有很多的复杂功能可供选择，

Flume：配置繁琐分别手动配置source、channel、sink，采集环境如果复杂需要多个Flume的插件比较多，channel常用的就内存和文件两种

Flume侧重数据的传输使用者需非常清楚整个数据的路由，相对来说其更可靠channel是用于持久化目的的，數据必须确认传输到下一个目的地才会删除；

Logstash侧重数据的预处理，日志字段经过预处理之后再进行解析

logstash可以与elk其他组件配合使用、开发应用简单，使用场景广泛；

flume新版本轻量级适合有一定计算编程基础的人使用，且场景针对性强需要配合很多其他工具进行使用，不方便

Logstash：主板、电源、硬盘机箱等都已经装好的台式机，可以直接用

Flume  ：提供一套完整的主板电源、硬盘、机箱等，自行组装装好了才能用