0
PIG를 사용하여 서로 게이트 키 생성기를 구현하려고합니다. 데이터베이스에서 마지막으로 생성 된 키를 유지하고 데이터베이스에서 다음 사용 가능한 키를 쿼리해야합니다.데이터베이스 액세스 용 PIG 라틴 스크립트
PIG에서 ODBC를 사용하여 데이터베이스를 쿼리 할 수 있습니까? 예인 경우 안내 또는 샘플을 제공해주십시오.
A
답변
1
직접 질문에 답변하지 않으셔서 죄송합니다.하지만이 작업은 원하는 작업이 아닙니다. 몇 가지 이유를 들어
귀하의 맵리 듀스 작업이 하나의 성능 관문 (당신은 기본적으로 하둡의 목적을 격파하는)로 데이터베이스를 망치려고하고있다- .
- speculative execution을 사용하면 동일한 데이터가 두 번로드되므로 작업 중 하나가 종료 될 때 일부 고유 식별자가 존재하지 않습니다.
레코드 당 한 번 데이터베이스에 충돌 할 수 있다고 생각하면 단일 스레드에서 MapReduce없이이 대리 키를 추가 할 수 있습니다.
어떤 방법으로도 사기가없는 특성 때문에 Hadoop에서는 대리 키 또는 자동 카운터를 만드는 것이 쉽지 않습니다.
Sqoop을 살펴보십시오. 돼지 스크립트는 키를 제외하고 필요한 모든 것을 생성 할 수 있습니다. 그런 다음 돼지 출력물을 가져 와서 Sqoop을 사용하여 데이터베이스에로드하고 키가 데이터베이스에 의해 자동으로 추가되도록하십시오. –