orc

0열

1답변

임시 하이브 테이블을 통해 ORC로 하이브 테이블에 텍스트 데이터를로드 할 수 없습니다.

.csv 파일을 하이브 테이블에 ORC 파일로로드하려고합니다. CREATE TABLE IF NOT EXISTS CrimesData(ID int, Case_Number int, CrimeDate string, Block string , IUCR string,Primary_Type string, Description string, Location_Descrip

0열

1답변

TEZ를 사용하여 하이브 ORC 테이블에 데이터를 삽입하는 동안 작은 파일을 만드는 방법

몇 가지 옵션을 시도했지만 아래의 큰 파일에 작은 파일을 병합하는 설정 만 보았습니다. 그 반대의 경우도 마찬가지입니다. 크기 150kb. set hive.merge.tezfiles=true; set hive.merge.smallfiles.avgsize=128000; set hive.merge.size.per.task=128000;

0열

1답변

ORC 파일 메타 데이터 : 맞춤 키 값을 쓰시겠습니까?

추가 메타 데이터를 ORC 파일에 쓰는 방법이 있습니까? "KeyValueMetadata"를 사용하여 마루에서 그렇게하는 방법을 발견했습니다. UserMetadataItem 클래스를 살펴 보았지만 Orc이 사용자 정의 메타 데이터를 추가 할 수있는 방법을 제공하는지 확신 할 수 없습니다. 나는 자바를 사용하는 방법을 찾고 싶다.

-1열

1답변

Microsoft Computer Vision API 필기

Microsoft의 Computer Vision API 서비스를 사용하여 필기 검색을 감지하고이를 기계 가독 텍스트로 변환하려고합니다. 그러나 API 키를 제공 한 후 웹 사이트에서이 서비스를 테스트하면 결과를 반환하지 않고 Accepted 202 헤더 만 반환합니다. paramere 필기를 false로 전환하면 머리글 200이 반환되지만 결과를 읽을 수는

0열

1답변

ozzie에서 하이브 컨텍스트를 사용하지 않는 스파크 작업

우리 파이프 라인 중 하나에서 spark (java)를 사용하여 집계를 수행하고 있으며 oozie를 사용하여 조정합니다. 이 파이프 라인은 집계 된 데이터를 다음 행을 사용하여 ORC 파일에 씁니다. HiveContext hc = new HiveContext(sc); DataFrame modifiedFrame = hc.createDataFrame(aggr

0열

1답변

Polybase가 prem에서 로컬 파일을 가리 킵니까?

모든 orc 파일이 압축 된 orc 파일로 blob 저장소의 Azure에있는 독특한 상황이 있습니다. 난 그 파일을 미리 SQL DB에로드해야합니다. polybase를 사용하여 이해하는 데이터를 다운로드 할 수 있지만 매우 오랜 시간이 걸립니다. 나는 폴리 기반이 그 파일을 압축 해제하고지도 축소 작업을 실행하며 사전 SQL 테이블에 네트워크를 통해 데이터

2열

1답변

R S3의 ORC 파일 읽기

S3 버킷의 상단에서 실행되는 AWS에서 EMR 클러스터 (스팟 인스턴스 포함)를 호스팅하게됩니다. 데이터는이 버킷에 ORC 형식으로 저장됩니다. 그러나 우리는 동일한 데이터를 읽는 일종의 샌드 박스 환경뿐만 아니라 R을 사용하기를 원합니다. 올바르게 작동하는 aws.s3 (cloudyr) 패키지가 있습니다. 문제없이 csv 파일을 읽을 수 있지만 orc

0열

1답변

오로라에서 Apache로 S3로 데이터를 마이그레이션하는 가장 쉬운 방법 ORC 또는 Apache Parquet

아테나는 멋지게 보입니다. 우리 규모에서 사용하려면 더 저렴하고 더 효과적으로 만들 필요가 있습니다. 이는 ORC 또는 파르 케 형식으로 데이터를 저장한다는 의미입니다. 전체 오로라 데이터베이스를 S3로 마이그레이션하여 가장 쉬운 방법으로 S3 형식으로 변환하는 가장 쉬운 방법은 무엇입니까? DMS 및 데이터 파이프 라인

2열

1답변

sparklyr의 Spark Data Frame에 ORC 파일을 읽을 수 있습니까?

나는 sparklyr는 다음과 같은 파일 읽기 방법이 있는지 알고 spark_read_csv spark_read_parquet spark_read_json 무엇 오크 파일을 읽을 어떻습니까? 이 라이브러리가 아직 지원합니까? 나는 read.orc을 SparkR 또는 this solution에 사용할 수 있지만 sparklyr에 코드를 보관하고 싶습니다.

0열

1답변

자바 빈 오크 파일

하이브가 나중에 읽을 수 있도록 orc-core을 사용하여 orc 파일을 작성하려고합니다. 기록되는 파일의 수가 올바르지 만 에는 내용이 없습니다 (). 하이브에서 선택 쿼리를 사용하여 파일을 읽으려는 시도와 모두 hive --orcfiledump -d을 볼 수 있습니다. 두 개의 long 유형 열을 쓰고 생성 된 파일을 하이브가 올바르게 읽었습니다. 나는