apache-spark

3열

4답변

java.lang.NoClassDefFoundError : scala/reflect/ClassManifest

spark에서 예제를 실행하려고 할 때 오류가 발생합니다. 아무도 내 pom.xml에 spark로 프로그램을 실행하기 위해 어떤 변화가 필요한지 알려주시겠습니까? 메이븐 빌드에 스칼라-반영을 위해

2열

1답변

내 클러스터는 Spark-0.7.2 + Mesos-0.9입니다. 나는 파이썬으로 스파크 프로그램을 작성했고, 로컬 모드에서 잘 실행된다. 하지만 메소로 실행할 때 오류가 발생했습니다. 여기에 오류 정보가 있습니다 : 13/09/30 15:40:13 INFO TaskSetManager: Finished TID 13 in 242 ms (progress: 2/3

1열

1답변

스파크 클러스터에 프로그래밍 방식으로 연결할 수 없지만 스파크 - 쉘 방식으로 연결할 수 있습니까?

응용 프로그램을 실행 중이며 Spark에 연결하는 데 문제가 있습니다. 여기에 관련 코드는 다음과 같습니다 System.setProperty("spark.akka.frameSize", "200") System.setProperty("spark.akka.timeout", "100") System.setProperty("spark.default.parall

3열

1답변

스칼라 스파크 매트릭스 작업

기계 학습 알고리즘 구현을위한 스파크를 평가할 계획입니다. 일반적으로 구현 한 알고리즘은 행렬 연산으로 표현됩니다. 스칼라 불꽃을 사용하여 구현할 때 나는 드리려고 에 관한이 개 질문은 매트릭스 연산으로 표현 될 알고리즘해야했습니다? 그렇다면, 스칼라/스파크 좋은 매트릭스 라이브러리 내 말은 매트릭스 도서관 가 않습니다 ...는 C 대응, BLAS만큼 강력

1열

2답변

설치된 스파크가 요청 된 주소 오류

나는 스파크 쉘을 실행하려고 할당 할 수지고, 이것은 내가 참고 org.jboss.netty.channel.ChannelException: Failed to bind to: /10.9.247.151:0 at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298) a

3열

1답변

Spark/Hadoop을 사용하여 S3에서 읽을 때 오류가 발생했습니다.

Spark을 사용하여 Amazon S3에서 데이터를 읽으려고합니다. 하지만 하둡 호출 내부에서 java.lang.NoClassDefFoundError: org/jets3t/service/S3ServiceException 을 얻고있다. juts3t를 dwnloading 해보고 포함 된 jar 파일을 모두 내 클래스 패스 인 에 추가하려고했지만 도움이되지

45열

2답변

Spark : 2 중 튜플 키 RDD와 단일 키 RDD를 결합하는 가장 좋은 전략은 무엇입니까?

나는이 두 RDD의 내가 가입하려는 그들은 다음과 같이한다 : rdd1의 키 값이 rdd2의 튜플 키 값이 고유한지도 독특하고 있다는 경우에 될 일이 val rdd1:RDD[(T,U)] val rdd2:RDD[((T,W), V)] . 다음 두 가지 데이터 세트를 결합하여 다음과 같은 rdd를 얻을 수 있습니다. val rdd_joined:RDD[((T

4열

1답변

spark에서 textinputformat.record.delimiter를 설정하십시오.

Spark에서, 예를 들어, 다음과 같은 일부 hadoop 구성 설정을 설정할 수 있습니다. 이 작품 System.setProperty("spark.hadoop.dfs.replication", "1") 는 복제 계수, I는이 패턴 (붙이는 "spark.hadoop을."일반 하둡 구성 속성에) 있다고 생각 것 또한 작동이 경우 가정하면 1 로 설정 tex

1열

2답변

EC2 클러스터에서 스파크 작업을 추가 할 수 없습니다.

Spark를 처음 사용합니다. Amazon EC2에서 Spark 클러스터를 실행, 관리 및 종료 할 수 있습니다 (http://spark.incubator.apache.org/docs/0.7.3/ec2-scripts.html). 하지만 아래 작업을 클러스터에 추가 할 수 없습니다. 패키지 내가 SimpleJob.scala을 만들어 내 지역 스파크 디렉토리에

1열

1답변

스파크 RDD (Resilient Distributed Dataset)를 업데이트 할 수 있습니까?

RDD를 업데이트 할 수 있습니까? --- 즉 "a.txt"파일에서 RDD를 생성했다고 가정합니다. "a.txt"가 업데이트되었습니다. a.txt 전체 파일을 읽지 않고 RDD를 업데이트 할 수 있습니까?