partition

0열

1답변

첫 번째 파티션을 디스크가 아닌 디스크에만 쓰는 동적 파티션으로 하이브 테이블에 삽입

하이브 테이블에 데이터를 쓰려고하는데 실패했습니다. Cycle_dt = null의 끝에 오류가 발생하고 하나의 파티션 만 쓰고 있습니다. 첫날이야. set hive.auto.convert.join=true; set hive.optimize.mapjoin.mapreduce=true; set hive.exec.dynamic.partition.mode=non

2열

1답변

분할 된 테이블에서 업데이트

null 값을 집계에 사용할 수 있도록 0f로 업데이트하려고합니다. 어떻게 분할 된 테이블에 업데이트 할 수 있어요, update x:0f from data where date=2016.07.01,null x; 하지만 파티션 된 테이블에 작동하지 않았다 : 다음은 내 코드입니다?

0열

1답변

PySpark에서 대형 테이블 조인 최적화

저는 하루에 약 500M 행의 큰 팩트 테이블을 가지고 있습니다. 테이블은 region_date에 의해 분할됩니다. 매일 데이터를 6 개월 동안 스캔해야하며 ID & 날짜 컬럼을 기반으로 한 더 작은 하위 세트 (1M 행)와 외부 조인을하고 두 개의 집계 값을 계산하십시오. id (오른쪽 테이블에 ID가있는 경우) & 합 (사실은) 내 SparkSQL은 다

0열

1답변

java api를 사용하여 하이브 파티션 위치를 수정할 수 있습니까?

나는 kafka에서 데이터를 소비하여 하이브에 넣는 시스템을 개발하고 있습니다. 테이블에 "day"파티션이 있으므로 hdfs에서이 파티션의 위치는 /root/tableLocation/day=20161110/adfadfaaf.avro이됩니다. Table table = new Table(database, tableName); table.setTableType

0열

1답변

BigQuery 표준 SQL 실행 테이블 장식 ($ 기호)

BigQuery Standard SQL을 사용하고 있습니다. 내가 특정 파티션을 참조하기 위해 테이블에 "$"장식을 사용하려고 해요 : SELECT user_id FROM `raw.events$20161109` 그리고 난 다음 오류 받고 있어요 : Table "raw.events$20161109" cannot include decorator Dismi

3열

1답변

Kafka 파티션 버전 0.10.0.1을 삭제할 수 있습니까?

주제 내의 특정 파티션에 대한 데이터 삭제/삭제 요구 사항이 있습니다. 나는 카프카 0.10.0.1을 사용하고 있습니다. 필요에 따라 전체 파티션 내용을 삭제할 수있는 방법이 있습니까? 그렇다면 어떻게? 로그 압축을 사용하여 키에 대해 Null 메시지를 게시하고 삭제할 수 있음을 알았지 만 삭제 이외의 방법으로 삭제할 수 있습니까?

0열

1답변

RDD 파티션

HDFS에 3 블록 (각각 64MB)의 파일이 있다고 가정 해 보겠습니다. 3 개의 파티션이있는 동일한 파일을 사용하여 RDD를 만들면 클러스터의 각 노드 (클러스터에 3 개의 데이터 노드가 있다고 가정)가 중복 된 파일 내용을 갖게됩니다 (hdfs 및 RDD 파티션에서 한 블록).

0열

1답변

파티션 된 영구 영역의 각 구성원에 대한 저장 영역이 필요합니다.

영구적 인 분할 영역의 경우 ANY ONE MEMBER의 관련 디스크 저장소에 저장된 데이터는 무엇입니까? 다른 회원에게 보유 된 데이터를 포함하여이 지역의 모든 데이터입니까, 아니면 회원이 호스팅하는 기본 데이터일까요? 아니면 회원이 주 데이터를 호스팅하고 있는지 여부입니다.

2열

2답변

DocumentDB 사용자 권한 - 파티션 키 기준?

내 DocumentDb 앱에는 거의 다중 점유 아키텍처가 있습니다. 처음부터 파티션 키를 사용하여 인기가 높아지면 전체를 다시 디자인 할 필요가 없도록 계획했습니다. 현재 아키텍처는 하나의 이기종 컬렉션을 요구합니다. 세입자 아키텍처 당 컬렉션은 작동하지 않습니다. 누출을 방지하기 위해 모든 액세스에는 임차인 ID가 포함됩니다. 그건 내가 걱정하는 것이 아

5열

1답변

스파크 mapPartitions 대 일시적인 게으른 val

나는 불꽃을 사용하는 것의 차이점이 무엇인지 궁금 해서요 mapPartitions 대 일시적인 게으른 val. 각 파티션은 기본적으로 다른 노드에서 실행되기 때문에 각 노드 (객체에있는 것으로 가정)에 일시적인 지연 val의 단일 인스턴스가 만들어집니다. 당신도 그것을 원하는 이유 class NotSerializable(v: Int) { def f