streamsets

0열

2답변

mapr-db json의 일반적인 문제인지 잘 모르겠습니다. 10 열을 포함하는 레코드를 푸시하는 Mapr-DB json 테이블 인 Streamsets 대상을 사용합니다. 나는 정확히 첫 번째 열을 행 키가 될 것이다. 내가 mapr dbshell find /tmp/my_table 에 갈 때 나는 단지 JSON의 행 키와 전혀 다른 열 당신이 어떤 생

0열

1답변

스트림 세트 단계의 레코드 수

Oracle에서 ElasticSearch로 레코드를 수집하는 데 Streamsets를 사용합니다. maprDB destination에 oracle 쿼리의 각 단계를 처리하는 레코드 수를 등록하고 싶습니다. 특정 스트림 세트 단계에서 레코드 수를 얻으려면 어떻게해야합니까?

1열

1답변

SDS (StreamSets Data Collector)를 통해 카프카 항목을 만들 수 있습니까?

StreamSets Data Collector (SDC) 웹 도구를 사용하여 로컬 시스템에서 Kafka 제작자를 통해 Kafka로 데이터를 전송하는 파이프 라인을 만듭니다. 그러나 먼저 데이터를 저장하려는 주제를 수동으로 만들어야합니다. StreamSets을 통해 주제를 만들 수 있습니까?

0열

2답변

SQl 쿼리 최적화

* 누구나 쿼리를 최적화 할 수 있습니다. 나는이 쿼리를 streamsets라고 불리는 ETL에서 사용하고 있는데, 매우 느린 streamets pipleline을 실행할 때 6 분 동안 70 개의 레코드를 생성한다. 우리는 SSIS 패키지에서이 쿼리를 가져 와서 왼쪽 외부 조인을 사용하여 각 테이블에 합류한다. 이 streamsets 분당이어야 1000

0열

1답변

HBase에서 읽고, 플랫 파일의 콘텐츠와 결합하여 하이브에 쓰기위한 NiFi 또는 스트림 세트

아파치 NiFi 또는 Streamsets로 조인을 수행 할 수 있는지 알아 내려고했습니다. 그래서 나는 HBase에서 주기적으로 읽을 수 있으며, 다른 테이블과 결합하여 Hive 테이블에 몇 개의 필드를 작성합니다. 또는이 작업을 지원하는 다른 워크 플로 관리자 도구가 있습니까?

1열

1답변

스트림 세트에서 JDBC 사용자 작업 스케줄링

매일 오전 5시에 매일 오전 실행하도록 JDBC 소비자 작업을 스케줄해야합니다. 오전 5시에 작업을 시작할 때 오전 5시에 작업을 실행할 수 있습니다. 쿼리 간격에 24 시간을 넣으십시오. 하지만 수동으로 시작하지 않고 오전 5시에 시작하도록 첫 번째 인스턴스를 예약해야합니다 (오전 5시에 일어나는 게으름입니다 : P) 이것을 달성 할 수있는 방법이 있습니

1열

1답변

StreamSet의 테이블 열을 해당 API 중 하나를 사용하여 매핑 할 수 있습니까?

Stream Set 파이프 라인에 10000 열 테이블을 매핑해야하며 (csv) 파일에서 데이터를 보내야합니다. 따라서 열 이름을 언급하여 스트림 세트 응용 프로그램의 각 열을 매핑하는 것은 10000 개의 열에 대해 매우 큰 작업입니다. 아무도 그걸 달성하는 다른 간단한 방법은 무엇입니까 회신 할 수 있습니까? 또는 REST API를 사용하여이를 달성 할

1열

2답변

Kafka에서 잘못된 시간을 읽는 StreamSets 데이터 수집기

StreamSets 데이터 수집기가 잘못된 datetime 값을 읽는 것 같습니다. Confluent에서 간단한 주제를 읽었습니다 : Landoop Kafka 항목으로 밀리 초 단위로 날짜/시간 값을 확인할 때 올바른 datetime을 표시하지만 StreamSet에서 Kafka Consumer 0.10.0.0으로 읽을 때 - 날짜 시간은 3 시간입니다. 그

3열

1답변

StreamSets 아키텍처 란 무엇입니까?

자습서를 거친 후에도 아키텍처에 대해 명확하지 않습니다. 분산 환경에서 스트림 세트를 확장하는 방법은 무엇입니까? 예를 들어, 입력 데이터 속도가 원점에서 증가한 다음 SDC가 성능 문제를 일으키지 않도록하는 방법을 생각해 봅시다. 얼마나 많은 데몬이 실행됩니까? 마스터 작업자 아키텍처 또는 피어 투 피어 아키텍처입니까? 여러 머신 (예 : YARN의 No

1열

1답변

스트림 세트의 jdbc 제작자와 관련된 문제

데이터를 로컬 디렉토리에서 Streamsets 파이프 라인을 사용하여 mysql db로 마이그레이션하려고했습니다. 미리보기 데이터는 콘솔에 있지만 mysql db에는 쓰지 않았지만 파이프 라인에는 오류가 표시되지 않지만 데이터는 기록되지 않습니다. Streamsets에서 일하는 사람이 친절하게도이 문제를 해결할 수 있도록 도와 주시겠습니까?