etl

0열

1답변

현재 tMomInput을 사용하여 활성 MQ에서 읽습니다. Talend에서 삭제하지 않고 활성 MQ의 대기열에서 읽을 수있는 방법이 있습니까? 임시 테이블에 성공적으로 복사 될 때만 내용을 삭제할 수 있습니까? 서버 종료와 같은 오류가 발생하여 DB 테이블로 복사하기 전에 작업이 실패하면 데이터를 복구 할 방법이 없습니다.

5열

1답변

Pandas .to_sql을 사용하여 Postgres에 JSON 열 작성

ETL 프로세스 중에 한 Postgres 데이터베이스에서 JSON 열을 추출하여 다른 곳으로로드해야했습니다. Pandas는 다양한 소스/대상에서 데이터를 읽고 쓸 수있는 많은 방법을 가지고 있으며 모든 변환은 Python과 Pandas를 사용하여 작성할 수 있으므로이 용도로 사용합니다. 우리는 정직한 접근 방식에 상당히 만족합니다.하지만 문제가 발생했습니다

1열

1답변

JSON에서 JSON Mapper

Type-A에서 Type-B까지 JSON 매퍼가 필요합니다 (JSON에서 JSON 문자열까지). IBM ESB와 같이 XML을 XML로 매핑하는 ESB 도구에 대해 알고 있습니다. 그래서 등 수이 우리가 포맷과 같은 몇 가지 기본 작업을 수행하는 능력, 다른 JSON에 JSON의 매핑을 할 수있는 편집기를 가지고있는 오픈 소스 도구 또는 유료 응용 프로그램

0열

2답변

SSIS에서 각 행에 대해보다 구체적인 오류를 얻는 방법

현재 여러 가지 가능한 데이터 흐름을 실행하는 패키지가 있습니다. 실패한 행을 로그 파일 및 데이터 테이블로 리디렉션했습니다. 그건 잘된거야. 그러나 행당 매우 구체적인 오류가 발생하지 않습니다. 나는 이미 "Openrowset"으로 입력 메소드를 변경하여 행 단위로 진행합니다. 내가 오류는 는 "데이터 값이 무결성 제약 조건을 위반"입니다. 우리 팀은 아

0열

1답변

SQL에서 oracle로 새로운 데이터 만 내보내는 방법이 있습니까? ssis

안녕하세요 저는 SQL ssis n SQL에서 오랫동안 잘 작동하지만 오라클 데이터를 내보낼 때마다 매우 시간이 많이 걸리는 모든 데이터를 내 보냅니다. SQL에서 새 데이터 만 내보내는 방법이 있습니다. 오라클에?

0열

1답변

하이브 카운트 (*)가 무기한으로 실행되고 값이 미리 채워집니다.

sqoop을 사용하여 RDBMS에서 하이브로 데이터를로드하려고합니다. 하이브 테이블에 데이터를 채우고 개수 (*)를 실행하면 쿼리가 영원히 계속 실행됩니다. 또한 (외부) 하이브 테이블을 삭제하고 hdfs 디렉토리에서 모든 것을 삭제 한 다음 비슷하게 만들면 내 hdfs 디렉토리에서 모든 항목을 삭제 한 후에도 테이블에 이전 데이터 (삭제 된 테이블과 동일

0열

1답변

Talend ETL 테스트 방법

Talend에서 개발 된 ETL에서 단위 테스트를 수행하는 것이 가능한지 알고 싶습니다. 내 ETL은 파일 읽기, 파일 생성 및 SAP 시스템과의 연결을 수행합니다. (IDOC 읽기/쓰기). 도구가 있습니까? 작은 자바 테스트 프레임 워크를 개발하는 데 필요한 것이 있습니까?

1열

1답변

SSIS에서 숫자 형식 변환

도움이 필요하십니까 .. 데이터 형식이 Excel보다 우수합니다. 예제 33.257615111은 33.258 (3 천 3 백만 2 천 8 천)으로 표시됩니다. SSIS ETL을 사용하여 SQL에 데이터 파일을 가져 오려고합니다. 소수점 이하 2 자리 숫자로 ETL 과정에서 이것을 변환 할 수있는 방법이 있습니까? 즉 33257615.11 감사합니다.

0열

1답변

Java Pentaho 예외 MongoDB

저는 Pentaho Data Integration UI 도구에서 변형을 설계하고 변환을 실행하기 위해 Java 코드를 작성했습니다. 그대로 나는 내 변환 몽고 DB 입력을 가지고 다음 PostgreSQL을에 삽입 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2

0열

2답변

sqoop이 파일에 쓰는 것을 볼 수있는 방법이 있습니까?

sqoop 작업이 증분 가져 오기를 hdfs 디렉토리에 쓰고 있다고 가정 해 보겠습니다. 다른 (비 스퀘어) 작업은 주기적으로 처리를 위해이 디렉토리에서 다른 곳으로 데이터를 옮깁니다. 이 작업은 현재 sqoop에 의해 수정되는 파일을 이동시키지 않기를 바랍니다. 준비된 파일을 일단 옮기면 특정 패턴으로 이름을 바꾸는 방법이 있습니까? 파일을 옮기지 않으면