데스크톱 도구를 사용하여 REST API에서 JSON 데이터 세트로드 및 새로 고침

Question

현재 WebTrends API에 쿼리하여 Excel로 데이터를 다운로드합니다. 그러나 이제는 JSON/XML 형식의 데이터를 가져 와서 다양한 데이터 저장소 및 분석 도구에서 사용하기 위해 CSV로 변환하기위한보다 안정적인 방법/도구를 찾고 있습니다.

새로운 데이터를 기존 데이터 세트에 추가하여 정기적으로 피드를 자동으로 업데이트 할 수 있다면 보너스가됩니다.

아 자유/오픈 소스 여야합니다.

내 연구로 Talend, JaspersoftETL 및 CloverETL ... 등의 ETL 도구를 사용할 수있었습니다. 그러나 나는 그들이 일을 할 수 있고 어느 것이 더 쉬운지를 결정하려고 고심하고있다! 누구든지 1-free 2-easy 3-lightweight 방식으로 위의 작업을 수행하는 방법을 알고 있습니까?

인 WebTrends의 API의 URL은 다음과 같습니다 http://ws.webtrends.com/v2_1/ReportService/profiles/dnGpm8jbgl7/reports/1RxjilSo4n7/?totals=none&period=2017m02d27 * 26 & 형식 = JSON & suppress_error_codes = 사실

감사합니다,

Answer 1

루비를 사용할 수있는 경우는 다음 Kiba ETL 당신이 사용할 수있는 경량의 무료 OSS 솔루션입니다 해당 유형의 시나리오.

일반적으로 코드는 다음과 같이 표시됩니다

source YourJSONHTTPDownloadSource, urls: [url_1, url_2] 

transform do |row| 
    # remap the fields as needed 
    row 
end 

destination YourCSVDestination, filename: my_filename 

그리고 당신은 키바 명령 줄을 사용하여 실행됩니다.

있습니다 (readme을 확인,이에 대한 자세한 내용)과 YourCSVDestinationYourJSONHTTPDownloadSource (URL에서 데이터를 가져 각 JSON/XML 요소를 산출하는 키바 소스)를 작성해야합니다.

PS : 제공된 URL에 인증이 필요하므로 아무 것도 볼 수 없습니다.