이 스레드 (Error in starting Spark streaming context)에서 제안한 것처럼 기본 변환이있는 다양한 Dstream에서 몇 가지 작업을 수행해야하는 Spark Streaming 응용 프로그램을 작성했습니다. 내 상황이 체크 포인트 디렉토리에서로드되는 동안 컨텍스트의 생성을위한 정의 함수, object StreamingEngine
R/spark를 사용하여 여러 csv 데이터 파일을 반복합니다. 각 파일의 약 1 %는 유지되어야하고 (특정 기준에 따라 필터링되어야 함) 다음 데이터 파일과 병합되어야합니다 (나는 union/rbind을 사용했습니다). 그러나 루프가 실행되면 spark에서 모든 이전 데이터 집합 및 filter() -s를 기억하므로 데이터의 계보가 길어지고 길어집니다.
체크 포인팅 및 폴트 톨러 런트 기능이있는 Spark Streaming 응용 프로그램을 개발했습니다. 응용 프로그램을 종료하고 다시 재실행 할 때 작동합니다. 모든 것 (states ..)은 잘로드됩니다. 클러스터 미스의 경우 왜 작동해야합니까? Spark이 체크 포인트를 메모리 위치에 대한 포인터로 저장한다고 생각하기 때문에 ...
캐싱에 대한 나의 이해가 잘못 됐습니까? 결과적으로 RDD는 1GB와 같이 매우 작습니다. 계산 된 데이터는 ~ 700GB 크기로 상당히 큽니다. 나는 매우 작은 결과 RDD를 계산하기 위해 수천 개의 매우 큰 파일을 읽는 로직을 실행해야합니다. 각 반복은 400 파일의 다음 일괄 처리를 처리합니다.이 일괄 처리에서는 읽혀질 때 약 700GB 크기까지 폭파
가변 범위를 효과적으로 사용하는 데 문제가 있습니다. 간단한 재귀 네트워크의 가중치, 편향 및 내부 상태에 대한 변수를 정의하고 싶습니다. 기본 그래프를 정의한 후 get_saver()을 한 번 호출합니다. 그런 다음 tf.scan을 사용하여 여러 샘플을 반복합니다. import tensorflow as tf
import math
import numpy
내 코드를 더자가 치료할 수있는 문제가 있습니다. 예 : CSV에서 Vertica 데이터베이스로 데이터를로드하는 방법 1을 실행합니다. 두 번째 방법은 데이터베이스의 행 수와 CSV 파일의 행 수가 동일한 지 확인하는 것입니다. 행 수가 일치하지 않으면 쿼리를 호출 한 지점에서 메서드 2를 호출하여 CSV에서 데이터베이스로 데이터를로드하려고합니다. 이 문제