Java应用如何实现日志归集

在应用系统日常运维过程中，我们经常需要对应用的日志进行检索，以便快速地定位到故障点的位置及其原因，现在主流的方案有ELK和EFK。下面就Java应用日志如何接入ELK or EFK的技术方式进行说明。

Java应用日志如何接入ELK or EFK

Java应用日志接入ELK or EFK有两种方式，一是由应用日志框架通过网络将日志发送到Logstash或Filebeat，再由这两个组件将日志存储到Elasticsearch；二是应用日志先写入本地服务器文件中，再由Logstash或Filebeat读取本地日志文件，再将日志写入Elasticsearch。最后通过Kibana连接Elasticsearch对应于日志进行检索分析。

一般采用应用日志先写入本地文件，再进一步由Logstash或Filebeat采集的方式。该方式主要是考虑降低业务应用系统和日志组件之间的耦合度，具体分析如下：

第1种方式：Logstash或Filebeat故障时，可能会导致应用日志丢失（缓冲区溢出）；另外Logstash或Filebeat重新部署时其IP或端口发生了变化，需要调整应用系统配置参数，这会侵入业务应用系统运维，影响业务。

第2种方式：日志组件在维护时，不影响应用日志写入本地文件（即不影响到业务应用系统），并且Logstash或Filebeat通过自身的已完成日志采集的位置信息恢复日志采集，不会导致日志记录丢失。

下面就第2种方式Filebeat采集日志方式，了解如何快速实现日志归集。

Filebeat采集日志

在完成安装Elasticsearch和Kibana组件之后，在应用系统服务上运行日志采集器Filebeat，并配置其inputs和output项。Filebeat其配置非常丰富且配置简单，具体可参考官网说明。下面就上述方案2给出参考配置如下：

采集日志文件，主要是配置inputs项，其类型为filestream：

filebeat.inputs:
- type: filestream
  id: my-filestream-id
  paths:
  - /var/log/*.log

将日志写入Elasticsearch日志存储，主要是配置output项：

output.elasticsearch:
  hosts: ["https://myEShost:9200"]
  username: "filebeat_writer"
  password: "YOUR_PASSWORD"
  ssl.certificate: "/etc/pki/client/cert.pem"
  ssl.key: "/etc/pki/client/cert.key"

Kubernetes容器平台日志归集

k8s容器平台采用EFK方式，具体原理如上述，区别在于k8s平台通过DaemonSet将Filebeat组件部署到需要日志采集的服务器上，并且将filebeat.inputs采集文件路径指定到/var/log/containers/*.log（k8s pod容器日志输出文件linux链接到该目录下），使用filebeat processors add_kubernetes_metadata插件实现k8s pod container相关信息的额外采集，并同日志记录存入Elasticsearch，如pod的名称、pod所在的服务器ip等。

通过将应用系统日志归集，我们可以方便地在web可视化工具Kibana上检索需要的应用运行信息。为充分利用Elasticsearch的搜索和统计能力，可以考虑使用logback或log4j2 MDC方式增加自定义的KeyValue输出，在Kibana上利用Key精确的过滤出所关注的日志信息和基本的数据统计图示分析。