pentaho 데이터 통합을 사용하여 고유 한 레코드를 얻는 방법

Question

나는 log_table에 상태, 지역, 지구, timestamp의 열이

인 서버가 있습니다.

ID  state  region  district  timestamp 
--  -----  ------  --------  --------- 
1  GJ  RE056  DI137  2014-02-05 09:00:00.257 
2  CA  RE027  DI154  2014-02-04 14:00:00.183 
3  GJ  RE056  DI137  2014-12-09 16:00:00.257 

나는, MySQL은 만 매일 업데이트 기록을 SQL 서버에서 데이터를로드하는 동안 MySQL의 새로운 테이블에 삽입해서는 안 독특한 기록과 기존 데이터와 MySQL의 다른 테이블이 레코드를로드하려는해야 중복 레코드없이 새 테이블에로드하십시오. 이 문제에서 pentaho 데이터 통합을 사용하는 방법을 알려주십시오.

Answer 1

timestamp 열은 원본 데이터베이스 (SQL Server)의 last_updated_timestamp 행의 약자라고 가정합니다. 당신의 목표는 매일 변환을 실행하는 것입니다 그리고 당신은 소스 데이터베이스 만 new or updated 기록 (MySQL의) 데이터베이스를 대상으로로드 할 수있을 것으로 기대하는 경우

, 당신은 목표 데이터베이스로 timestamp를 저장해야합니다 (예 : 테이블 log_target) 및 변환 단계 수 :

• 표 입력 (대상 DB가) : 테이블 log_target에서 MAX timestamp를 가져옵니다.
  • SELECT COALESCE(MAX(timestamp), '1970-01-01 00:00:00') AS max FROM log_target
• 표 입력 (소스 DB는) log_table
  • 단계 설정에서 업데이트 된 데이터를 선택 : 데이터를 삽입 공정 (전 단계로부터의 데이터를 얻기 위해); 스크립트에서 변수를 대체 하시겠습니까? log_target 테이블 스토어 출력 데이터 :
  • SELECT * FROM log_table WHERE (timestamp > ?)
• 프로세스 데이터
• 표 출력 또는 삽입/업데이트 (대상 DB) (참). timestamp 값을 저장하는 것을 잊지 마십시오.