저는 Apache Spark을 사용하여 응용 프로그램을 작성하고 있습니다. a spark-jobserver 내가 타키온에 새로 온 사용 타키온 를 사용 : 다른 응용 프로그램에서 사용할 수있는 RDDs 나는 두 가지 방법을 시도하고 확인하십시오. a Running Tachyon on a Cluster URL에 master:19999 URL에서 액세스 할 수
나는 Alluxio에 스파크를 배치하는 가이드를 따릅니다. 내가 발에 CCC를 RDD 작업을 실행하는 alluxio에서 데이터를로드하려고 = sc.textFile ("alluxio : // 로컬 호스트 : 19998/findbugs.xml") ccc.count 에러가 다음과 같이 나타난다 : 16/07/24 23:27:16 INFO logger.type:
에 대한 타키온은 우리가 rdd1 = sc.textFile("alluxio://.../file1.txt")
rdd2 = rdd1.map(...)
이 rdd2이 alluxio 또는 spark의 힙에 상주 않습니다 alluxio 메모리에서 RDD를 만들 말할 수 있습니다. 또한 (두 쌍의 RDD가 alluxio에 있음) pairRDD1.join(pairR
openlux에서 spark 및 hdfs를 사용하여 alluxio1.2를 VM centos에 설치하려고 시도했지만 설치가 작동하지 않습니다. 스파크와 HDFS는 이미 설치하고 ERROR logger.type (AlluxioMaster.java:main) - Uncaught exception while running Alluxio master, stoppin
S3 파일 시스템에 Tachyon을 설정하려고합니다. 나는 Tachyon에 완전히 새롭고 아직도 내가 그것을 발견 할 수있는 것을 읽고있다. Exception in thread "main" java.lang.NoClassDefFoundError: org/jets3t/service/S3ServiceException
at org.apache.hadoo
128GB와 40 코어가 각각있는 3 개의 노드에서 클러스터에서 MR 작업을 실행했습니다. 클러스터 정보 : 10.8.12.16 : 네임 노드 활성, 데이터 노드, alluxio 마스터, alluxio 노동자 10.8.12.17 : 네임 노드 대기, 데이터 노드, alluxio 마스터 대기, alluxio 노동자 10.8.12.18 : 데이터 노드, all
Alluxio를 로컬에 설치하고 Alluxio의 메모리에 1000 개의 파일을 삽입했습니다. 그러나 읽기 파일이 매우 느리므로 Alluxio 메모리의 파일 읽기 시간은 디스크의 파일 읽기 시간과 같습니다. FileSystem fs = FileSystem.Factory.get();
AlluxioURI path = new AlluxioURI(/partitio
Alluxio에서 Spark와 이상한 오류가 발생했습니다. Alluxio에서 Spark로 20,000 개의 파일을 읽었습니다. 하지만 Alluxio에서 Spark로 40,000 개의 파일을 읽었습니다. 작동하지 않습니다. 내가 Alluxio 1.2을 사용, 1.6.0 스파크 내가 파일 API와 데이터를 읽어 FileSystem fs = FileSystem.