qubole

0열

1답변

대형 텍스트 파일을 처리하는 맵 전용 작업이 있습니다. 각 라인은 분석되고 범주화됩니다. MultipleOutputs는 각 카테고리를 개별 파일로 출력하는 데 사용됩니다. 결국 모든 데이터가 각 카테고리 전용 하이브 테이블에 추가됩니다. 현재의 워크 플로우는 일을 처리하지만 조금 번거 롭습니다. 몇 가지 카테고리를 추가 할 예정이며 프로세스를 합리화 할 수

1열

1답변

AWS EMR에서 qubole/streamx를 사용할 때 AWS S3 액세스 문제

카프카 싱크 커넥터로 qubole/streamx를 사용하여 카프카의 데이터를 소비하고 AWS S3에 저장합니다. AIM에서 사용자를 생성했으며 사용 권한은 AmazonS3FullAccess입니다. 그런 다음 dir이 quickstart-s3.properties에 지정하는 hdfs-site.xml에 키 ID와 키를 설정하십시오. 구성 아래 같은 : quick

0열

1답변

Qubole의 Presto에서 ms SQL 서버를 연결할 수 없습니다.

Microsoft Azure에서 Qubole Data Service를 사용하고 있습니다. Qubole에서 Presto Cluster를 만들었습니다. Presto에서 MS SQL Server에 연결하여 MS SQL Server에서 데이터를 읽으 려합니다. "/usr/lib/qubole/packages/presto-0.157/presto/plugin"이 경로에

0열

2답변

Qubole의 하이브 테이블에 로컬 csv 삽입

로컬 컴퓨터에 csv가 있고 Qubole 웹 콘솔을 통해 하이브에 액세스합니다. 새 테이블로 CSV를 업로드하려고하는데 알아 내지 못했습니다. LOAD DATA LOCAL INPATH <path> INTO TABLE <table>; 내가 내 로컬 컴퓨터에 CSV는 하이브가 실제로 실행되는 경우 일부 원격 서버에 있어야한다는 것을 추측하고 있지 않다 No

0열

1답변

빠른 S3 버킷에서 데이터의 하루의 가치를 비교

2 데이터 상자에서 로그 S3 버킷에 전송되는 1. Front End Box ----> S3 Bucket-1 2. Front End Box ----> Kafka --> Storm ---> S3 Bucket-2 아래로 흐르는 것이 좋습니다. 플로우 2를 플로우 2로 대체하는 것이 요구됩니다. 이제 플로우 2를 사용할 수 있음을 보장하기 위해 데이터는

0열

1답변

"예외 읽기 매퍼 출력을 다시 시도 중입니다"와 함께 qubole에서 pyspark 작업이 실패합니다.

qubole을 통해 실행중인 pyspark 작업이 다음 오류와 함께 실패합니다. Qubole > Shell Command failed, exit code unknown Qubole > 2016-12-03 17:36:53,097 ERROR shellcli.py:231 - run - Retrying exception reading mapper output:

2열

1답변

java.io.FileNotFound qubole에서 apache spark에 쓰는 동안 예외가 발생했습니다.

s3의 여러 테이블 (마루판 형식)에 데이터를 쓰는 qubole에서 실행되는 apache spark 1.6.3의 코드가 있습니다. 테이블에 쓸 때 나는 계속 java.io.FileNotFound exception을 얻는다. 나는 심지어 설정합니다 : spark.sql.parquet.output.committer.class=org.apache.spark.sq

0열

1답변

Qubole 하이브 쿼리를 사용하여 Amazon S3의 gz 파일에서 데이터를 쿼리하는 방법

gz에서 특정 데이터를 가져와야합니다. SQL 작성 방법은 무엇입니까? 난 그냥? 테이블 데이터베이스로 Select * from gz_File_Name where key = 'keyname' limit 10. 를 SQL 수 있지만 항상 오류가 다시 켜십시오.