Sqoop 및 PIG를 사용하려고 했으므로 거의 모든 문서에서 Sqoop을 사용하여 MySQL에서 데이터를 가져 와서 HDFS 저장소에 넣은 다음이 데이터 PIG를 사용하여 도달 할 것입니다. 그 대신, MySQL 테이블에서 돼지를 직접 읽을 수 있는지 알고 싶습니다. 귀하의 대답이 '예'일 경우에는 예제 스크립트를 공유해주십시오. 고마워, 고마워.Sqoop을 사용하여 MySQL에서 PIG로 데이터로드
PIG에서 MySQL에 직접 액세스 할 수 없습니다.
사용 Sqoop을가 HDFS에 데이터를 가져 오는 다음 돼지 스크립트를 사용하여 분석 :
두 가지 옵션을 가지고있다.
UDF를 작성하고 MySQL에 연결을 만들고 데이터를 가져 와서 분석하십시오. 이것은 일반적인 Java JDBC 코드와 비슷합니다.
옵션 b는 데이터가 큰 경우 끔찍한 선택입니다. 귀하의 요구 사항에 확신이 없지만 당신은 Sqoop의 아름다움을 죽이고 있습니다. Sqoop은 매퍼를 멋지게 만들어서 데이터를 빠르게 끌어 오기 위해 데이터베이스에 대한 다중 연결을 만듭니다.
어쩌면 당신이 정확히 이것을 시도하는 이유에 대한 자세한 내용을 공유 할 수 있습니다.
당신은 친구 감사합니다 너무 많이 !!! –