12 개의 파일을 하나의 파일로 병합 한 다음 수백만 개의 데이터가있는 하이브 외부 테이블에 푸시 된 많은 CSV 파일이 있으며이를 기계 학습 팀에 제공합니다.하이브의 타임 스탬프 열은 분 단위로 슬래브 될 것입니다.
CSV 파일은 Phonenumber, Col1, Col2 ..... Created_date가있는 원시 파일입니다.
12 개의 csv 파일을 하나의 csv 거대한 csv 파일로 병합하여 하이브 외부 테이블에로드합니다. mm (제외 날짜 부분 및 초 부분)
:
그래서 우리가 가져 할 필드는 여기서 Phonenumber, CREATED_DATE (타임 스탬프)
스탬프가 HH에 시간 슬롯/시간 슬래브 내놓고로 작성해야한다시간입니다 예를 들어, hh : mm이 00:00에서 00:15이면 1을 쓰고, 00:15에서 00:30이면 2 ... 23:45에서 00:00으로 작성해야합니다. 예 : 전화 번호 | TimeSlot/Slab 9999999 | 1 8888888 | 사전 친구 23 개 ...
감사
벤 카트
(1) 문제는 (2) 당신이 잘못된 것 같다 명확하지 않다 어떤 외부 테이블에 대한 개념이 –
안녕하세요, 위의 쿼리를 수정했습니다. –