apache-spark-2.0

2열

1답변

Spark 스트리밍 데이터 세트 (구조화 된 스트리밍)를 피벗하려하지만 AnalysisException (아래 발췌)이 표시됩니다. 구조화 된 스트림 (2.0)에서 피벗 팅이 실제로 지원되지 않는다는 것을 확인해 주시겠습니까? 아마도 대체 방법을 제안 할 수 있습니까? 스레드 "main"의 예외 org.apache.spark.sql.AnalysisExcep

0열

1답변

Apache Spark - 작업자 노드의 데이터 그룹화 및 실행

우리는 실제 컴퓨터 데이터를 json으로 가져오고 있으며이 데이터는 RabbitMQ에서 가져옵니다. 아래 자료는 다음 아래에 'X'분의 기간 동안, 윈도우를하고 json으로의 샘플, {"DeviceId":"MAC-1001","DeviceType":"Sim-1","TimeStamp":"05-12-2017 10:25:35","data":{"Rate":10,"s

-2열

1답변

Pyspark : 파일 텍스트가 분할 된 후에 인쇄 할 수 없습니다.

파이썬 (pyspark)으로 코딩하는 것을 처음 보았습니다. 메시지를 }{ (으)로 분할해야하는 txt 파일이 있습니다. 이 메시지는 {...}{...}...처럼 시작됩니다. 나는 {...} {...} {...} 몇도가 내부 메시지 {... {...} ... } 같은 코드로 다음을 분할 할 : 나는 코드를 아래에 노력하고 내가 말하는

0열

1답변

Ignite : log.log 파일에 로그인하지 않는 코드의 system.out.print 명령

/root/apache-ignite-fabric-2.3.0-bin/bin/ignite.sh 콘솔에서 두 개의 ignite 서버 노드를 시작했습니다. -v 원격 클라이언트에서 ClusterGroup 예제 프로그램을 실행합니다. 콘솔의 두 서버 노드 모두에서 아래 유형의 로그 (system.out.print에서 인쇄 됨)가 표시됩니다. 나는 서버 노드에서 sy

0열

1답변

Azure Queue 서비스에서 읽을 수있는 Apache Spark 커넥터가 필요합니까?

이것은 더 많은 구성 질문 일 수 있지만 해결하려고하는 문제에 대한 구체적인 답변을 찾을 수 없습니다. Azure Blob 저장소에 사용할 수있는 커넥터가 있지만 Azure Storage Queue Service에서 Spark를 읽는 커넥터를 찾고 있습니다. Azure Storage Queue에서 읽을 커넥터가 있는지 또는 누군가가 문제를 해결했는지 확인하

0열

1답변

스파크 독립 실행 형 클러스터 튜닝

우리는 8 코어와 50GB 메모리 (단일 작업자)가있는 단일 노드에서 실행되는 2.1.0 독립 실행 형 클러스터를 실행합니다. 우리는 다음과 같은 메모리 설정을 사용하여 클러스터 모드에서 스파크 응용 프로그램을 실행 - 최근 --driver-memory = 7GB (default - 1core is used) --worker-memory = 43GB (a

0열

1답변

Spark 2.x saveAsTable

Spark 2.1.0 Java API를 사용하여 DataFrame (행의 데이터 집합)을 하이브 테이블로 유지하려고합니다. DataFrameWriter 클래스의 saveAsTable 메서드를 사용해 보았습니다. 내 하이브에서 데이터 저장 아직 지원되지 않습니다 테이블을 serde : 내가 AnalysisException이 org.apache.spark.sq

1열

2답변

멀티 스레드 드라이버에서 Apache Spark SQL 작업 시작하기

Spark로 약 1500 개의 원격 Oracle 테이블에서 데이터를 가져오고 싶었습니다. 스레드 당 테이블을 선택할 수있는 멀티 스레드 응용 프로그램을 원합니다. 쓰레드를 시작하고 각각의 테이블에서 읽을 스파크 작업을 시작합니다. 그 불꽃이 실행 공식 스파크 사이트 https://spark.apache.org/docs/latest/job-scheduling

1열

1답변

flatMapGroupsWithState를 사용하여 상태 저장 집계를 수행하는 방법은 무엇입니까?

flatMapGroupsWithState을 적용하는 중에 다음 오류 메시지가 나타납니다. 스레드에서이 예외 "주요"org.apache.spark.sql.AnalysisException : 업데이트 모드에서 flatMapGroupsWithState는 스트리밍 DataFrame/데이터 집합에 집계가 지원되지 않습니다; 다음은 내가하려는 일입니다. 카프카에서 읽

0열

1답변

컨테이너 클러스터에 Apache Spark 어플리케이션을 제출하는 중 문제가 발생했습니다.

spark-submit과 내부 REST API를 모두 사용하여 Spark 어플리케이션을 실행하는 데 문제가 있습니다. 필자가 시연하고자하는 배포 시나리오는 로컬 랩톱에서 클러스터로 실행되는 Spark입니다. 이 목적을 위해 필자는 spark-master 및 spark-worker 용 Docker 컨테이너를 두 개 만들었습니다. 그 끝의 모든 것이 작동하고있