GraphFrames jar가있는 "spark-shell --jars"에서 "error : 클래스 파일 'Logging.class'를로드하는 동안 종속성이 없거나 유효하지 않습니다."를 표시하는 이유는 무엇입니까?

Question

내가 명령 spark-shell --jars /home/krishnamahi/graphframes-0.4.0-spark2.1-s_2.11.jar을 실행하고 그것이 내가 스파크 버전 2.1.1을 사용하고 나에게 오류

error: missing or invalid dependency detected while loading class file 'Logging.class'. Could not access term typesafe in package com, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with -Ylog-classpath to see the problematic classpath.) A full rebuild may help if 'Logging.class' was compiled against an incompatible version of com. error: missing or invalid dependency detected while loading class file 'Logging.class'. Could not access term scalalogging in value com.typesafe, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with -Ylog-classpath to see the problematic classpath.) A full rebuild may help if 'Logging.class' was compiled against an incompatible version of com.typesafe. error: missing or invalid dependency detected while loading class file 'Logging.class'. Could not access type LazyLogging in value com.slf4j, because it (or its dependencies) are missing. Check your build definition for missing or conflicting dependencies. (Re-run with -Ylog-classpath to see the problematic classpath.) A full rebuild may help if 'Logging.class' was compiled against an incompatible version of com.slf4j.

을 던졌다 스칼라 버전 2.11.8, JDK 버전 1.8.0_131, CentOS7 64 비트, 하둡 2.8. 0. 누구든지 프로그램의 완벽한 실행을 위해 추가 명령이 무엇을 제공해야하는지 말해 주시겠습니까? 미리 감사드립니다.

Answer 1

GraphFrames을 사용하려면 --packages 명령 줄 옵션을 spark-shell 대신 사용하십시오. 내가 GraphFrames 프로젝트의 How to 부분에서 그대로 복사

$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.4.0-spark2.1-s_2.11 

을 다음과 같이 될 것 graphframes-0.4.0-spark2.1-s_2.11.jar를 들어

--packages Comma-separated list of maven coordinates of jars to include on the driver and executor classpaths. Will search the local maven repo, then maven central and any additional remote repositories given by --repositories . The format for the coordinates should be groupId:artifactId:version.

.

그런 식으로 Spark에서 자동으로 GraphFrames 라이브러리의 모든 (전이성있는) 의존성을 검색 할 필요가 없습니다.

Answer 2

모든 구성 요소 하이브, 돼지, 최신 버전의 스파크로 원시 Hadoop을 설치했습니다. 그것은 나를 위해 일했다. 내가 구성 요소와 하둡을 설치하기위한 센트 OS (7) 주문을 사용

1. Anaconda3/Python3
2. 하둡
3. 돼지
4. 하이브 (스파크 2.x는 파이썬 2를 지원하지 않기 때문에)
5. 입니다 HBase를

모든 구성 요소가 동일한 터미널에서, 하나의 이동에 있어야

스파크. Spark 설치 후 시스템을 다시 시작하십시오.