spark-cassandra-connector

1열

1답변

다음은 in_date 및 out_date 직원을 나타내는 샘플 데이터 세트입니다. 모든 직원의 마지막 in_time을 확보해야합니다. 4 개의 노드 독립 실행 형 클러스터에서 Spark가 실행 중입니다. 초기 데이터 집합 : 직원 ID ----- 안양 후 in_date ----- out_date 1111111 2017-04-20 2017-09-14 11

-1열

1답변

java.lang.ClassNotFoundException : com.datastax.spark.connector.japi.rdd.CassandraTableScanJavaRDD

카산드라와 함께 카프카 스파크 스트리밍을 사용하고 있습니다. 일식을 사용하여 내 Java 클래스를 실행할 때 잘 작동하지만, 내가 maven을 사용하여 빌드하고 Spark Shell에서 실행하면 예외가 발생했습니다. java.lang.NoClassDefFoundError: com/datastax/spark/connector/japi/rdd/Cassandra

0열

1답변

스파크 쪽 마루 s3 오류 : AmazonS3Exception : 상태 코드 : 403, AWS 서비스 : Amazon S3, AWS 요청 ID : xxxxx, AWS 오류 코드 : null

AWS S3에있는 파루 파일을 읽으려고하고 있습니다. 오류. 17/12/19 11:27:40 DEBUG DAGScheduler: ShuffleMapTask finished on 0 17/12/19 11:27:40 DEBUG DAGScheduler: submitStage(ResultStage 2) 17/12/19 11:27:40 DEBUG DAGSched

0열

1답변

카산드라가 tableau에 JSON 배열 구문 분석을 저장했습니다.

저는 tableau와 협력 중이며 Apache Cassandra에 저장된 JSON 배열을 구문 분석해야합니다. here에 설명 된대로 스파크를 통해 카산드라와 연결할 수 있습니다. jsonpath를 사용하여 JSON 객체를 구문 분석하는 데 성공했지만 JSON 배열을 구문 분석 할 수있는 솔루션이 없습니다. 내 데이터의 샘플 구조를 참조하십시오 [{ "이름

0열

1답변

Cassandra Datastax Java 드라이버를 사용하여 Cassandra 노드 중 하나에 연결할 수 없습니다.

Cassandra datastax 드라이버가 데이터 센터의 노드 중 하나에 연결할 수 없지만 여전히 데이터베이스에 읽고 쓸 수 있습니다. 데이터 센터에는 한 랙에 두 개의 노드가 있습니다. 나는 그 중 하나를 종자 노드로 지정했다. 각 노드에 대한 Connected to cluster: Test Cluster Datacenter: datacenter1;

0열

1답변

카산드라 상태에서 새 노드를 볼 수 없습니다.

안녕하세요 카산드라에 새 노드를 추가했습니다. 나는 새로운 노드에서 cassandra.yaml 파일의 동일한 변경을 수행했으며 아래에는 두 노드의 cassandra-rackdc.properties 세부 정보가 있습니다. dc = DC1 rack = RAC1 어떤 노드에서든 다른 노드를 볼 수 없습니다. 오래된 기존 노드 [[email protected] a

1열

1답변

발생 원인 : java.lang.NoSuchMethodError : com.datastax.driver.core.TypeCodec.getJavaType() Lcom/google/common/reflect/TypeToken;

나는 지금까지 모든 최신 버전 인 다음 종속성을 사용하여 응용 프로그램을 만들고 있습니다. <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.0.M5</versio

0열

1답변

spark를 사용하여 거대한 cassandra 테이블을 다른 클러스터로 마이그레이션

이전 Cassandra 클러스터를 새 클러스터로 마이그레이션하려고합니다. 요구 사항 : - 나는 10 개 노드의 카산드라 클러스터를 가지고 있고 마이그레이션 할 테이블 1백기가바이트 ~입니다. 나는 데이터를 마이그레이션하는 데 spark를 사용하고있다. 스파크 클러스터에는 10 개의 노드가 있고 각 노드에는 약 16GB의 메모리가 있습니다. 테이블에 새 테

0열

1답변

Spark Worker가 CassandraPartition 클래스를 찾을 수 없습니다.

마스터 및 3 명의 직원이있는 스파크 독립형 클러스터에서 작업하고 있습니다. 내 드라이버도 동일한 네트워크에 있으므로 기본적으로 모든 작업자와 마스터가 드라이버와 통신 할 수 있으며 그 반대의 경우도 마찬가지입니다. 나는 sparksession (자바 프로그램에서)을 얻음으로써 드라이버에서 일을하려고한다. 프로그램에 추가 된 Maven 종속성은 spark-

0열

1답변

kafka 직접 스트림 json을 cassandra에 저장하는 방법은 무엇입니까?

스파크 스트리밍 데이터를 카산드라에 저장해야합니다. 카프카에서 스트림이오고 카프카 메시지는 아래와 같이 json 형식입니다. { "status": "NOT_AVAILABLE", "itemid": "550672332", "qty": 0, "lmts": "2017-11-18T10:39:21-08:00", "times