apache-spark-2.0

4열

1답변

Spark 2.0 독립 실행 형 모드 동적 리소스 할당 작업자 시작 오류

독립 실행 형 모드에서 Spark 2.0을 실행 중이며 서버에서 실행되도록 성공적으로 구성되었으며 Jupyter Notebook에 Ipython 커널 PySpark를 옵션으로 구성 할 수있었습니다. 모든 것이 정상적으로 작동하지만 시작한 각 노트북에 대해 내 4 명의 직원 모두가 해당 응용 프로그램에 할당된다는 문제에 직면하고 있습니다. 따라서 우리 팀의

3열

1답변

Apache Spark에서 무작위로 데이터 집합을 분할하는 방법은 무엇입니까?

은 내가 randomSplit 방법으로 임의 분할 할 수 있습니다 알고 val splittedData: Array[Dataset[Row]] = preparedData.randomSplit(Array(0.5, 0.3, 0.2)) 내가 어떤 'nonRandomSplit 방법'으로 연속 부분으로 데이터를 분할 할 수 있습니까? Apache Spar

1열

1답변

구조화 된 스트리밍 작업이 모든 작업자를 사용하지 않음

Apache Kafka 데이터 스트림을 소스로 연결하는 Spark 2.0.2 구조화 된 스트리밍 작업이 있습니다. 이 작업은 kafka의 트위터 데이터 (JSON)를 가져오고 CoreNLP를 사용하여 감정, 품사 태깅 등과 같은 데이터를 주석으로 처리합니다. 로컬 [*] 마스터에서 잘 작동합니다. 그러나 독립형 스파크 클러스터를 설정하면 한 명의 작업자 만

1열

1답변

Spark Cassandra NoClassDefFoundError guava/cache/CacheLoader

CP에서 실행중인 Cassandra 2.2.8, Win7, JDK8, Spark2 : Cassandra 코어 3.12, spark-cassandra-2.11, Spark-cassandra-java-2.11, Spark2.11 , spark-network-common_2.11, Guava-16.0.jar, sacala2.11.jar 등 기본 예제 실행을 시도

1열

2답변

CSV를 읽을 때 Hadoop 구성을 지정하는 방법

Spark 2.0.2를 사용 중입니다. CSV 파일을 데이터 세트로 읽을 때 TextInputFormat 클래스에 대해 Hadoop 구성 항목 textinputformat.record.delimiter을 어떻게 지정합니까? Java에서는 코드를 사용할 수 있습니다 : spark.read().csv(<path>); 그러나 읽기와 관련된 특정 Hadoop 구성

1열

1답변

Cassandra, SQL 쿼리를위한 Spark2 세션

Spark-2.0에서 Spark 세션을 만드는 가장 좋은 방법은 무엇입니까? 왜냐하면 Spark-2.0과 Cassandra에서는 API가 재 작업 되었기 때문에 SqlContext와 CassandraSqlContext를 더 이상 사용하지 않기 때문입니다. 그래서 SQL을 실행하기 위해서 - 나는 Cassandra Session (com.datastax.dr

0열

1답변

Spark2 Java 데이터 집합 Sql

Spark2에서 JavaSparkSQLExample을 실행하려고합니다. spark-core_2.11-2.0.2 및 spark-sql_2.11-2.0.2를 사용합니다. 오류가 있습니다. The method createGlobalTempView(String) is undefined for the type Dataset<Row>. 실제로 latest API do

2열

2답변

스파크 UI가없는 AWS EMR의 스파크 클러스터 모니터링

AWS EMR에서 스파크 클러스터를 실행 중입니다. 스파크 UI를 사용하지 않고 AWS EMR에서 실행중인 작업 및 집행자의 모든 세부 정보를 얻으려면 어떻게해야합니까? 나는 그것을 모니터링과 최적화에 사용할 것이다.

1열

1답변

다른 위치에있는 여러 파일을 한 번에 pyspark 데이터 프레임에로드하는 방법

은 한 번에 여러 파일을 pyspark 데이터 프레임 (2.0.0)으로로드 할 수있는 방법입니다. 이러한 파일은 다른 디렉토리에 있습니다. 또는 내가 이런 식으로 넣을 수 있습니다. 저장 장치에 S3 (예 : 20161109) 파티션에 파일이 저장되어 있고 특정 날짜 (폴더 내의 모든 파일이 아님)의 데이터를로드하려고합니다. 하나씩 하나씩로드하고 union

0열

1답변

Spark Kafka InvalidClassException으로 인해 스트리밍 작업이 실패합니다.

Kafka 클라이언트 0.8을 사용하여 Spark 2, CDH 5.9에서 스트리밍 작업을 실행 중입니다. 간단한 목표는 기록으로 기록하는 임팔라에 정보를 유지하는 것입니다. 내가 알고하지 않기 때문에 나는 그것을에서 오는 어디에서,이 오류를 제거 할 수 없습니다 16/12/14 08:43:28 ERROR scheduler.JobScheduler: Error