스파키 온 타키 온 (alluxio). 최대 길이 (16777216)보다 큰 프레임 크기 (273247862)

Question

나는 Alluxio에 스파크를 배치하는 가이드를 따릅니다. 내가

발에 CCC를 RDD 작업을 실행하는 alluxio에서 데이터를로드하려고 = sc.textFile ("alluxio : // 로컬 호스트 : 19998/findbugs.xml")
ccc.count

에러가 다음과 같이 나타난다 :

16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml) 
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max length (16777216)! 
alluxio.org.apache.thrift.transport.TTransportException: Frame size (273247862) larger than max length (16777216)! 
    at alluxio.org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:137) 
    at alluxio.org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java:101) 
    at alluxio.org.apache.thrift.transport.TTransport.readAll(TTransport.java:86) 

Java 버전 1.8.0_74이다 스파크 : 1.2.0; alluxio 1.2.0
문제는 오랜 시간 동안 저를 귀찮게합니다.

Answer 1

이 오류의 일반적인 원인은 올바르지 않은 포트를 사용하여 Alluxio 마스터에 연결할 때 발생합니다. 기본 포트는 19998입니다. spark-shell을 다시 시작하고 올바른 포트에 연결해보십시오.

이 오류의 다른 가능한 원인은 클라이언트와 마스터의 보안 설정이 서로 다른 경우입니다. 인증 유형 (구성 매개 변수 alluxio.security.authentication.type)은 클라이언트와 마스터에서 일치해야합니다. 구성 매개 변수에 대한 정보는 다음과 같습니다. http://www.alluxio.org/docs/master/en/Configuration-Settings.html#security-configuration