我们之前搭建的ELK日志收集系统主要用于收集SpringBoot应用的日志。 原理是通过Logstash插件使用TCP将日志传输到Logstash，然后存储在Elasticsearch中。 但是很多中间件日志是直接存储在文件中的，比如Nginx，Elasticsearch，MySQL。这个时候我们需要一个搬运工把原木搬到Elasticsearch。Filebeat就是这样一个搬运工。本文将详细描述其用法，希望对你有所帮助。 Filebeat简介Filebeat是一个轻量级的日志收集器，可以用来转发和汇总日志和文件。 内置模块很多(Nginx、MySQL、Redis、Elasticsearch、Logstash等。)在Filebeat中，它可以大大简化收集、解析和可视化常用格式日志的过程，只需要一个命令。 Filebeat的安装和配置在安装Filebeat之前，我们需要先安装Elasticsearch和Kibana。具体来说，您实际上是去服务器获取日志的。建立日志收集系统是不是很甜蜜？关注7.6.2版本。 我们先在image.png下载Filebeat的安装包，然后解压到指定目录，注意意向中显示的三个地方；面对数百台服务器产生的日志，不妨试试这个轻量级的日志处理神器Kibana，它已经提供了一个Filebeat收集各种日志的教程。我们先去首页面对几百台服务器产生的日志。试试这个轻量级的日志处理神器，点击添加日志数据按钮，可以发现支持的中间件还是很丰富的，涵盖了常用的；面对上百台服务器产生的日志，试试这个轻量级的日志处理神器，打开Nginx的日志收集教程，看看是不是很详细；面对数百台服务器生成的日志，不妨试试这个轻量级的日志处理神器。接下来我们将开始配置Filebeat，配置Elasticsearch和Kibana的连接地址，修改Filebeat安装目录下的配置文件Filebeat.yml。修改内容如下 hosts:[" localhost:9200 "]setup . ki Bana:host:" localhost:5601 "收集Nginx日志。先用Nginx练习一下，体验一下Filebeat的日志收集功能。 使用以下命令打开Filebeat的Nginx日志采集模块:filebeat modules enable nginx打开后，进入modules.d目录，会发现nginx.yml的disable后缀没有了，表示已经打开；面对数百个服务器生成的日志，试试这个轻量级的日志处理神器。接下来修改Nginx.yml文件，配置Nginx的访问和错误日志路径；# Module:nginx # Docs:https://www.elastic.co/guide/en/beats/filebeat/7.6/ Filebeat-Module-Nginx . html-Module:Nginx access:enabled:true var . paths:[" I:/developer/env/Nginx-1 . 8 . 1/logs/access . log "]Error:enabled:true var . paths:[" I:/developer/env/Nginx-1 . 8 . 1/logs/Error . log "]由于Nginx日志收集模块已启用，因此我们需要通过以下命令设置Filebeat；Filebeat setup面对数百台服务器生成的日志。尝试这个轻量级日志处理工件，使用以下命令启动Filebeat服务；Filebeat -e我们可以通过之前使用的Kibana中的Nginx教程页面查看数据是否已经采集成功；面对数百台服务器生成的日志，不妨试试这个轻量级的日志处理神器。点击Nginx日志仪表盘按钮查看收集的Nginx日志，先看概述日志；面对数百台服务器生成的日志，试试这个轻量级的日志处理神器，看看详细的日志。从此不用再去服务器钓鱼Nginx日志了！在image.png收集Elasticsearch日志接下来，让我们尝试收集Elasticsearch日志。 使用以下命令打开Filebeat的Elasticsearch日志收集模块:File Beat模块启用Elasticsearch接下来，修改elasticsearch.yml配置，配置elasticsearch的日志路径；# Module:elastic search # Docs:https://www.elastic.co/guide/en/beats/filebeat/7.6/ Filebeat-Module-elastic search . html-Module:elastic search server:enabled:true var . paths:[" I:/developer/env/elastic search-7 . 6 . 2/logs/elastic search . log "]slow log:enabled:true var . paths:[" I:/developer/env/elastic search-7 . 6 . 2/logs/elastic search _ indexing _ slow log "，" I:/developer/env/elastic search-7 . 6 . 2Filebeat setupfilebeat -e在Discover页面查看Elasticsearch日志 面对数百台服务器产生的日志，试试这个轻量级的日志处理神器收集MySQL日志，然后再尝试收集MySQL日志。 使用以下命令打开Filebeat的mysql日志收集模块:Filebeat模块启用mysql接下来，修改mysql.yml的配置并配置MySQL的日志路径，主要是错误日志和慢速查询日志；# Module:MySQL # Docs:https://www.elastic.co/guide/en/beats/filebeat/7.6/ filebeat-Module-MySQL . html-Module:MySQL错误:enabled:true var . paths:[" C:/program Data/MySQL/MySQL Server 5.7/Data/DESKTOP-5 nimj 19 . err "]slow log:enabled:true var . paths:[" C:/program Data/MySQL/MySQL Server 5.7/Data/DESKTOP-5 nimj 19-slow . log "]设置并启动Filebeat服务；Filebeat setupfilebeat -e点击MySQL日志仪表板按钮，查看收集到的MySQL日志；参见image.png MySQL收集的日志介绍。 Image.png总结了这篇文章的主要细节。使用Filebeat收集Nginx、Elasticsearch和MySQL的文件日志，其他中间件日志的用法基本相同。用Filebeat收集中间件日志方便吗？