apache-spark

6열

2답변

스파크 0.9.0 : 작업 실패시 작업자가 독립 모드로 계속 죽어갑니다.

불꽃이 생겼습니다. 내 Mac에서 독립 실행 형 모드로 스파크를 실행하고 있습니다. 나는 주인과 노동자를 데려오고 그들은 모두 잘 지낸다. 내가 작업을 제출할 때 지금 14/02/25 18:53:02 INFO Slf4jLogger: Slf4jLogger started 14/02/25 18:53:02 INFO Remoting: Starting remotin

0열

1답변

Spark API를 사용하여 스칼라에서 독립 실행 형 응용 프로그램 예제를 실행하는 동안 오류가 발생했습니다.

Iam이 스파크 예제를 실행할 수 없습니다. (https://spark.incubator.apache.org/docs/latest/quick-start.html#a-standalone-app-in-scala). sbt 패키지 명령이 성공적으로 실행되었습니다. 그러나 sbt 실행 명령은 오류를 발생시킵니다. SBT 패키지 출력 [info] Set curren

0열

1답변

AMPLab Shark on Apache Spark

설명서 별, "Apache Spark는 대규모 데이터 처리를위한 빠르고 일반적인 엔진입니다." "Shark는 Hadoop 데이터를위한 오픈 소스 분산 SQL 쿼리 엔진입니다." 그리고 상어는 스파크를 의존성으로 사용합니다. 내 질문은 Spark이 HiveQL을 Spark 작업으로 구문 분석하는지 아니면 분석 쿼리에 대한 빠른 응답을 위해 Shark를 사용하

2열

1답변

내용을 모든 노드에 동기화하는 방법

tutorial 내 클러스터에 스파크를 설치하고 구성하려고합니다. 내 클러스터 (5 노드)는 AWS에서 호스팅되고 Cloudera Manager에서 설치됩니다. "튜토리얼의"모든 노드에/etc/spark/conf의 내용 동기화 "라는 내용이 나와 있습니다. 구성 파일을 수정 한 후 나는이 일이 일어나게하는 가장 쉬운 방법이 무엇인지 궁금합니다. 내 질문과

2열

1답변

카산드라와 상어의 통합

나는 상어가 카산드라에서 일하도록 노력하고있다. 그래서 카산드라의 데이터를 상어와 실행 쿼리로 가져온다. 나는 캐쉬 오픈 소스 스토리지 핸들러를 사용했는데, 로컬에서 상어를 실행할 때 작동하는 것처럼 보였다.하지만 배포 모드에서 스팍 슬레이브가 마스터에게 출력을 보내지 않는 것처럼 보인다. (나는 상어 셸에서 출력을 볼 수 없다).

8열

1답변

SparkPi를 로컬에서 실행할 때 연결이 거부되었습니다.

SparkPi 예제의 간단한 실행을 실행하려고합니다. 나는 그 때, 마스터와 하나의 작업자를 시작 내 로컬 "클러스터"에 작업을 실행,하지만 난 원래 구성없이 내 마스터와 근로자를 실행하려고 오류의 순서는 모든 Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2

4열

1답변

"run-example"스크립트가없는 Spark Kafka wordcount.java 예제를 실행하십시오.

저는 Kafka에서 데이터를 스트리밍하는 Spark에서 단어 수를 예로 실행하려고합니다. Source Code Here. 그러나 Cloudera Spark 배포본은 인큐베이터와 조금 다릅니다. 스파크 셸을 실행하는 데 문제가 없으며 거기에서 단어 개수 예제를 실행합니다. 그러나 bin 폴더에는 "run-example"스크립트가 없으며 예제 소스 코드에 나와

1열

1답변

스파크 + 카산드라. 클러스터링 순서 문제가있는 복합 키

나는 이벤트와 같은 데이터를 저장할 C * 열 패밀리가 있습니다. 이 방법으로 CQL3에서 만든 열 가족 : CREATE TABLE event ( hour text, stamp timeuuid, values map<text, text>, PRIMARY KEY (hour, stamp) ) WITH CLUSTERING ORD

6열

2답변

명령 줄에서 Spark-java 프로그램을 실행하는 방법

spark에서 wordcount Java 프로그램을 실행 중입니다. 명령 줄에서 어떻게 실행합니까?

-2열

2답변

Windows 7에 Apache Spark 설치 64 비트

Windows 7 64 비트에 Apache 스파크를 설치하는 더 쉬운 방법이 있습니까?