orc

0열

2답변

하나의 파일 (test.hql)에 200 개의 Insert 문을 삽입하여 ORC 형식 하이브 테이블에 삽입합니다. 각 프로세스는 상당한 시간 (40 초)이 걸리므로 전체 프로세스를 2 시간. 속도를 높이는 방법이 있습니까? tmp (텍스트 형식) 테이블을 만든 다음 간단한 덮어 쓰기를 할 수는 있지만 허용되지 않습니다. 새 DDL을 만들 수 없습니다 ..

0열

1답변

하이브 선택 쿼리는 ORC 테이블에 실패

예외 : 예외 때 java.io.IOException에 실패 : 때 java.io.IOException가 : 어떻게 든 -1 바이트 의 위치를 추구하는 6257 개 이상의 바이트를 건너 뛰려고 읽기 6708, 크기 : 1290047 누구든지 cloud dataproc에서 해결 방법에 대한 아이디어가 있습니까?

0열

1답변

ORC는 필드를 어떻게 구분합니까?

나는 이것이 어리석은 질문 일 것임에 틀림 없다. 그러나 시간 이후의 검색, 나는 대답을 얻을 수 없다. 구분 기호가 어떻게 작동하는지 csv와 같은 일반 텍스트 형식으로 이해하기 쉽습니다. ORC 중에는 HDFS에 바이너리가 저장되어 있기 때문에 필드의 구분자는 무엇입니까? 나는 ORC에 단락 문자가 없다는 말을 들었지만이 진술에 대해서는 의심 스럽다.

0열

1답변

C# OCR MODI 예

http://www.codeproject.com/Articles/41709/How-To-Use-Office-2007-OCR-Using-C 내가 OCR이 예제를 발견가, C에서 일부 이미지를 붙여 오류 반환 : 블랙 영어 흰색 배경에 텍스트와 난 여전히이 라인에서 예외가와/ORC 폴더를 MODI.Document md = new MODI.Document();

4열

1답변

스키마를 지정하지 않고 orc 파일에서 하이브 테이블을 만듭니다.

hadoop 클러스터간에 하이브 테이블을 전송하는 작업이 있습니다. 내가 한 것은 소스 hadoop 클러스터에서 orc 파일을 다운로드 한 후 다음 명령을 사용하여 orc 파일을 대상 hdfs 클러스터에 업로드하는 것입니다. hadoop fs -get hadoop fs -put 대상 하둡 clustr에서 오크 파일 스파크 애플리케이션에서 다음과 같은

1열

2답변

Spark가 Orc 테이블을 읽을 수 없음 (빈 테이블 반환)

Spark로 Orc 테이블을 읽으려면 특별한 작업을 수행해야합니까? 나는 두 개의 테이블 복사본을 txt와 orc에 가지고있다. txt 테이블을 읽을 때 모든 것이 괜찮습니다. 오크 테이블을 읽을 때 오류는 없지만 spark는 빈 테이블을 반환합니다.이 import pyspark CONF = (pyspark.SparkConf().setMaster("yar

0열

1답변

명령 줄에서 orcserde hadoop 파일을 읽을 수 있습니까?

명령 줄에서 hadoop 파일 시스템의 ORC 파일을 읽으려고하는데 아래 명령이 작동하지 않습니다. hadoop fs-text가 작동하지 않습니다. whats equivalent 명령?

0열

1답변

write.save의 스파크 파티션은 모든 데이터를 드라이버로 가져 옵니까?

기본적으로 파이썬 스파크 작업을 통해 간단한 json 파일을 읽은 다음 하나의 필드로 분할 된 orc 파일로 작성하려고합니다. 일부 키가 실제로 크고 다른 키가 작기 때문에 파티션의 균형이 맞지 않습니다. 이런 식으로 뭔가를 할 때 나는 메모리 문제가 있었다 : events.write.mode('append').partitionBy("type").save(

0열

1답변

하이브 ORC 테이블에서 ClassCastException을 얻는 중

cloudera 8.1 사용. Hive에서 ORC 형식의 테이블을 CSV 파일로로드했습니다. 로드 된 테이블을 쿼리 할 때이 오류가 발생합니다. 예외가 발생하지 않았습니다. java.io.IOException : org.apache.hadoop.hive.ql.metadata.HiveException : java.lang.ClassCastException :

0열

1답변

버킷 테이블의 하이브 쿼리가 느립니다.

2 개의 테이블이 있습니다. 하나는 버킷에 있지만 다른 하나는 동일하지 않습니다. 둘 다 오크로 저장되고 분할되었습니다. 주어진 파티션에서 버킷으로 연결된 테이블을 쿼리하는 것은 동일한 파티션에서 쌍둥이를 쿼리하는 것보다 훨씬 느립니다. 예상 되나요? 그 이유가 무엇이 아닌가? 그렇다면 양동이와 표본 추출을위한 나의 유일한 동기는 결론 지어야합니까?이 경우