通过log4j,logback写日志到kafka
写在前面随着微服务的普及,如何查看系统日志快速排查问题就是一个亟待解决的问题了,此时我们可以考虑使用kafka来统一收集日志,再结合ELK等查看日志,本文就一起来看下如何直接使用日志插件来完成日志写入工作。需要kakfa服务,安装可以参考这篇文章,对Java日志体系不熟悉的可以参考这篇文章 。1:log4j配置一个卡夫卡的appeder,如下:log4j.rootLogger=info, S, K
写在前面
随着微服务的普及,如何查看系统日志快速排查问题就是一个亟待解决的问题了,此时我们可以考虑使用kafka来统一收集日志,再结合ELK等查看日志,本文就一起来看下如何直接使用日志插件来完成日志写入工作。
1:log4j
配置一个卡夫卡的appeder,如下:
log4j.rootLogger=info, S, KAFKA
#log4j.rootLogger=info, S
log4j.appender.S=org.apache.log4j.DailyRollingFileAppender
log4j.appender.S.File=${catalina.home}/logs/tomcat.log
log4j.appender.S.DatePattern='.'yyyy-MM-dd-HH'.log'
log4j.appender.S.encoding=GBK
#log4j.appender.DailyRollingFile.Append=true
log4j.appender.S.layout=org.apache.log4j.PatternLayout
log4j.appender.S.layout.ConversionPattern= portal [%d{yyyy-MM-dd HH\:mm\:ss}]%-5p %c(line\:%L) %x-%m%n
log4j.logger.org.apache.kafka.clients.Metadata = ERROR
log4j.appender.KAFKA=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.KAFKA.topic=your-topic-name
#log4j.appender.KAFKA.brokerList=192.168.64.129:9092
log4j.appender.KAFKA.brokerList=172.17.72.175:9092
log4j.appender.KAFKA.compressionType=none
log4j.appender.KAFKA.syncSend=false
log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout
log4j.appender.KAFKA.layout.ConversionPattern=portal %-5p %d{yyyy-MM-dd HH:mm:ss} %c{1}:%L %% - %m%n
log4j.appender.KAFKA.topic
对应的就是kakfa要写入的主题名称,log4j.appender.KAFKA.brokerList
是配置kafka的地址列表,这样当通过log API打日志时,就会将日志自动写到kafka对应的主题中了,另外需要注意将log4j.appender.KAFKA.syncSend=false
设置异步写入kafka,不然kafka出现问题的话,会阻塞写日志代码,影响正常业务。
2:logback
logback配置和log4j类似,也是配置对应的appender就可以了,如下配置:
<configuration>
<property name="app-name" value="xxxxx" /> <!-- 应用系统名称 -->
<!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】,,, -->
<!-- appender是configuration的子节点,是负责写日志的组件。 -->
<!-- ConsoleAppender:把日志输出到控制台 -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d %p (%file:%line\)- %m%n</pattern>
<!-- 控制台编码 -->
<charset>GBK</charset>
</encoder>
</appender>
<!-- RollingFileAppender:滚动记录文件,先将日志记录到指定文件,当符合某个条件时,将日志记录到其他文件 -->
<!-- 以下的大概意思是:1.先按日期存日志,日期变了,将前一天的日志文件名重命名为XXX%日期%索引,新的日志仍然是sys.log -->
<!--: 2.如果日期没有发生变化,但是当前日志的文件大小超过1KB时,对当前日志进行分割 重命名-->
<appender name="applog"
class="ch.qos.logback.core.rolling.RollingFileAppender">
<File>log/jianguan.log</File>
<!-- rollingPolicy:当发生滚动时,决定 RollingFileAppender 的行为,涉及文件移动和重命名。 -->
<!-- TimeBasedRollingPolicy: 最常用的滚动策略,它根据时间来制定滚动策略,既负责滚动也负责出发滚动 -->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!-- 活动文件的名字会根据fileNamePattern的值,每隔一段时间改变一次 -->
<!-- 文件名:log/sys.2017-12-05.0.log -->
<fileNamePattern>log/jianguan.%d.%i.log</fileNamePattern>
<!-- 每产生一个日志文件,该日志文件的保存期限为30天 -->
<maxHistory>30</maxHistory>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<!-- maxFileSize:这是活动文件的大小,默认值是10MB -->
<maxFileSize>50MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
</rollingPolicy>
<encoder>
<!-- pattern节点,用来设置日志的输入格式 -->
<pattern>
%d %p (%file:%line\)- %m%n
</pattern>
<!-- 记录日志的编码 -->
<charset>UTF-8</charset> <!-- 此处设置字符集 -->
</encoder>
</appender>
<appender name="kafkaAppender" class="com.github.danielwegener.logback.kafka.KafkaAppender">
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--
<pattern>${SERVER_NAME} ${NODE_FLAG} %level %date{yyyy-MM-dd HH:mm:ss.SSS} %logger[%line] %msg%n</pattern>
-->
<pattern>${app-name} %level %date{yyyy-MM-dd HH:mm:ss.SSS} %logger[%line] %msg%n</pattern>
<charset>utf8</charset>
</encoder>
<topic>your-topic-name</topic>
<keyingStrategy class="com.github.danielwegener.logback.kafka.keying.NoKeyKeyingStrategy"/>
<deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy"/>
<!--注意此处应该是spring boot中的kafka配置属性-->
<!--<producerConfig>bootstrap.servers=172.17.72.175:9092</producerConfig>-->
<producerConfig>bootstrap.servers=192.168.64.129:9092</producerConfig>
<producerConfig>retries=1</producerConfig>
<producerConfig>batch-size=16384</producerConfig>
<producerConfig>buffer-memory=33554432</producerConfig>
<producerConfig>properties.max.request.size==2097152</producerConfig>
</appender>
<!-- 控制台输出日志级别 -->
<root level="INFO">
<appender-ref ref="STDOUT"/>
<appender-ref ref="kafkaAppender"/>
</root>
<logger name="com.workflow" level="INFO">
<appender-ref ref="applog"/>
</logger>
<logger name="org.apache.kafka" level="INFO"/>
</configuration>
其中的appenderkafkaAppender
就是kafka的appender,<topic>your-topic-name</topic>
是要写入的主题名称,<producerConfig>bootstrap.servers=192.168.64.129:9092</producerConfig>
是kafka broker的地址。
更多推荐
所有评论(0)