Spark Scala 응용 프로그램에서 Log4J2로 비동기 로깅 사용

Question

문제점 : Spark 로컬 모드에서 SparkContext를 초기화 한 후 Log4J2의 비동기 기능을 관찰 할 수 없습니다. SBT에서

Log4j2 종속성 :

이

"com.lmax" % "disruptor" % "3.3.5", 
    "org.apache.logging.log4j" % "log4j-api" % "2.8.2", 
    "org.apache.logging.log4j" % "log4j-core" % "2.8.2", 
    "org.apache.logging.log4j" %% "log4j-api-scala" % "2.8.2" 

Log4j2 config 파일이 :

<?xml version="1.0" encoding="UTF-8"?> 
<Configuration status="debug"> 
<Appenders> 
    <Console name="Console-Appender" target="SYSTEM_OUT"> 
     <PatternLayout> 
      <pattern> 
       [%-5level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %c{1} - %msg%n 
      </pattern>> 
     </PatternLayout> 
    </Console> 
    <File name="File-Appender" fileName="logs/xmlfilelog.log" > 
     <PatternLayout> 
      <pattern> 
       [%-5level] %d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %c{1} - %msg%n 
      </pattern> 
     </PatternLayout> 
    </File> 
</Appenders> 
<Loggers> 
    <Logger name="guru.springframework.blog.log4j2async" level="debug"> 
     <AppenderRef ref="File-Appender"/>he preceding c 
    </Logger> 
    <Root level="debug"> 
     <AppenderRef ref="Console-Appender"/> 
    </Root> 
</Loggers> 

내가 IntelliJ에

에서 다음과 같은 시스템 속성

-DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector 

은 ASY을 테스트하도록 설정

val start = System.nanoTime() 

for(i <- 1 to 1000) { 
    logger.error("Hello") 
} 

val end = System.nanoTime() 
val timeMS = (end - start)/1000000 
println(s"Parsed ${iterations} reports in ${timeMS} ms ${timeMS/1000} sec") 

성공적인 결과 : nchronous 행동, 내가 전에 SparkContext를 초기화 한 후 다음 코드를 실행 내가 AsyncContext이 2017-04-25 14:55:40,541 main DEBUG LoggerContext[name=AsyncContext@6d9c638, org.apache.logging.log4j.core.async.AsyncLoggerContext@758f4f03] started OK. 수있게되었다 확인한 다음 디버그 라인을 볼 수 있었다. 또한 내 인쇄 라인 문인 "Parsed ..."는 로거 출력 중간에 표시되어 비동기 동작을 나타냅니다.

그러나 SparkContext 초기화 후에이 코드 블록을 이동하면 더 이상 비동기 활동을 관찰하지 않습니다. 로거 출력 후에는 항상 인쇄 라인 명령문 인 "Parsed ..."가 표시됩니다. 혼란스러운 것은 2017-04-25 14:55:40,541 main DEBUG LoggerContext[name=AsyncContext@6d9c638, org.apache.logging.log4j.core.async.AsyncLoggerContext@758f4f03] started OK.입니다. 여전히 관찰된다.

정상 검사를 위해 스파크 애플리케이션의 범위 내에 로거 API 패키지도 인쇄했습니다. 그 결과는 package org.apache.logging.log4j.scala, Apache Log4j Scala 2.11 wrapper for Log4j API, version 2.8.2이되었습니다. Log4J2 문서에 따르면 "og4j 2 Scala API는 Log4j 2 API에 종속됩니다." 따라서 Log4J2를 실제로 사용하고 있다고 추론 할 수 있습니다.

MAIN QUESTION : 내 LOG4J2 구성을 사용하고 LOG4J 구성을 사용하도록 설정하는 중 일부가 경고 메시지를 표시합니까? 아니면 LOGYING LOGINING BEYVIOR가 허용되지 않습니까?

Answer 1

Log4j2가 초기화되기 전에 시스템 속성이 으로 설정되어 있는지 확인해야합니다. Log4j2가 초기화되었습니다. 당신이 AsyncLoggerContext 다음 당신은 당신이 스럽 백업 비동기 로거를 사용하고 있는지 확인 할 수 있습니다 사용되는 것을 볼 수있는 경우 :

-DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector 

제대로 이루어집니다 날 것으로 보인다.