Sqoop 및 PIG를 사용하려고 했으므로 거의 모든 문서에서 Sqoop을 사용하여 MySQL에서 데이터를 가져 와서 HDFS 저장소에 넣은 다음이 데이터 PIG를 사용하여 도달 할 것입니다. 그 대신, MySQL 테이블에서 돼지를 직접 읽을 수 있는지 알고 싶습니다. 귀하의 대답이 '예'일 경우에는 예제 스크립트를 공유해주십시오. 고마워, 고마워.
I는 그 구조가 아래와 같이 언급 된 파일을 가지고 난 pigStorage 주면가 ID, 이름, 분명히 1,"Amrit,kumar",India
2,"Vaibhav,arora",USA
3,"Deepika,kumar",Germany
주소 ('') 3 개의 필드가 4로 분할되고 데이터가 넘치게됩니다. 대안 : 나는 돼지 저금통 항아리하지만 문제가 계속 존
돼지 스크립트에서 hbase 원격 서버의 데이터를 읽고 쓰고 싶습니다. 우리는 Hortonworks HDP 2.5를 사용하고 있습니다. 다음은 시나리오입니다. 우리는 Hive 용 클러스터와 Hbase 용 클러스터 두 개를 가지고 있습니다. 하이브 클러스터의 일부인 에지 노드에 액세스 할 수 있습니다. 코드 (MapReduce 작업 & 돼지 스크립트)는 Hi
가입 후 열쇠를 어떻게 든 제거하는 것 같습니다. 상황 목표는 오직 된 table_1 구별 회원 ID의 구성 table_2에서 모든 레코드를 얻는 것입니다. 초보자로서이 목표를 달성하기위한 모범 사례와 "왜곡 된 필드"오류가 발생하는 이유에 대한 의견을 보내 주시면 감사하겠습니다. 내가 -- assume %default vals set for path_1
그래서 Apache PIG의 초보자입니다. 일부 데이터를 그룹화하고 추가 처리를 위해 사용자 정의 함수에 그룹화의 결과를 보냅니다. 따라서 데이터는 CSV는이 DAY;STATION;HOUR;TEMPERATURE
내 돼지 파일의 코드를 다음과 같습니다 REGISTER /path/to/jar/myUdf.jar;
weather_data = LOAD 'fil
아래 텍스트 파일을 입력 했으므로 논리를 기반으로 다른 파일에서 출력을 생성해야합니다. customerid|Dateofsubscription|Customercode|CustomerType|CustomerText
1001|2017-05-23|455|CODE|SPRINT56
1001|2017-05-23|455|DESC|Unlimited Plan
PIG를 사용하여 날짜와 시간을 변환하는 방법은 무엇입니까? 나는 24 시간 형식으로 입력으로 변환하지 변환 할 노력하고있어 ToDate($0,'dd/MM/yyyy hh:mm:ss aa') 결과를 통과 한 후 30/06/2016 02:43:23 PM 01/12/2016 12:43:23 AM 값 것은 30/06/2016 02:43:23.324+05:30 01
나는 CROSS 연산자에서 작업하고 있습니다. 다음과 같이 hdfs에 두 개의 파일 data1 & data2가 있습니다. data1- (1,2,3)
(4,2,1)
데이터 2 지금은 명령을 입력하여 변수에이 파일을로드하고 (2,4)
(8,9)
(1,3)
; 그 후 투기 A = LOAD 'data1' AS (a1:int,a2:int,a3:int);
OLTP 시스템은 정규화되고 수백 개의 테이블을 포함합니다. 보고서를 디자인하는 동안 많은 테이블에 참여해야 할 수도 있습니다. 예를 들어 고객의 전자 메일 주소를 얻으려면 4 ~ 5 개의 테이블을 조인해야합니다. (우리가 사용하는 통신 모델 덕분에) 나는 hdfs (또는 아마 s3)에 데이터웨어 하우스를 설계하려고한다. emaill 주소와 사용자 지정 I