2017-09-21 17 views
1

MFL 파일로 데이터를로드하는 OSB 프록시 서비스 (메시징 서비스)를 만들었습니다.OSB 프록시로 빅 데이터 처리

데이터의 형식은 다음 파일 2,075,259

전체 크기 (.txt 또는 .DATA)이다 :

1/1/2007;00:11:00;2.500;0.000;242.880;10.200;0.000;0.000;0.000; 
1/1/2007;00:12:00;2.494;0.000;242.570;10.200;0.000;0.000;0.000; 

모든 데이터 레코드는 1백30메가바이트

OSB 프록시에 삽입하기 위해 이러한 모든 데이터를 처리하고 모든 데이터를 간단한 xml 파일로 변환하는 가장 좋은 방법은 무엇입니까?

작은 크기의 레코드 (5000)로 테스트했으며 예상대로 작동하지만이 데이터를 프록시에 어떻게 삽입해야합니까?

MFL 변환은 유효한 아이디어입니까? 아니면 dbtable에서 데이터를 수신 할 FileAdapter 프록시를 만들어야합니까?

제안 해주세요.

감사합니다.

+1

클레임 확인 패턴을 사용할 수 있습니다. http://www.enterpriseintegrationpatterns.com/patterns/messaging/StoreInLibrary.html –

+0

내 주요 문제는 모든 데이터를 한꺼번에 가져 와서 xml 어떤 패턴도없이. 모든 데이터를 하나의 XML 형식으로 전달하십시오. 그룹 목록에 올 수 있습니다. 각 행 데이터를 그룹 xml 목록의 일부로 나타냅니다. – NickName

답변

2

ESB는 매우 주관적이며 동시 요청 수, 초당 트랜잭션 수, 하드웨어 크기 조정 등에 따라 많이 달라 지지만 MB가 아닌 KB 순으로 메시지를 처리하는 데 효율적입니다. 트렌트 (Trent)가 논평에서 지적한 바와 같이 claim check pattern을 구현하고 파일 변환을 perl 또는 이와 유사한 외부 유틸리티에 위임 할 수 있습니다.