data-ingestion

1열

1답변

왓슨 디스커버리 서비스로 7MB json 파일을 수집하려합니다. WDS 툴링 인터페이스를 사용하여 인제 스트 (ingest) 할 때 인터페이스는 성공적인 처리를 나타내지 만 문서는 실패한 것으로 보입니다. API를 사용할 때 오류가 발생했습니다 : 서버의 문제로 요청을 처리하지 못했습니다. "오류가 실제로 문제를 해결하는 데 도움이되지 않습니다. 아이디어가

0열

1답변

Java 애플리케이션에서 BigQuery로 데이터를 수집하는 방법

Java 애플리케이션에서 BigQuery로 데이터를 가져오고 싶습니다. BigQuery API를 직접 사용하는 경우 성능 문제가 있습니까? 응용 프로그램이 AWS에서 실행 중입니다.

1열

1답변

Gobblin - 페이스 북에서 게시물을 얻는 방법

나는 Gobblin을 잠시 조사 중이며 현재 Gobblin을 사용하여 Facebook에서 게시물을 얻는 데 어려움을 겪고 있습니다. 인터넷에서 연결 예제를 찾을 수 없거나 잘못 검색했을 수 있습니다. 나는 Gobblin에 restfb를 통합하고있다. 그러나, Gobblin에는 커넥터, 소스 및 추출기가있는 RestAPI 클래스가 있으며이 두 가지를 결합하는

1열

1답변

하나의 sqoop 작업을 여러 테이블에 동시에 사용할 수 있습니까?

방금 Sqoop Hands-on으로 시작했습니다. 질문이 있는데, 데이터베이스에 300 개의 테이블이 있고 그 테이블에 증분로드를 수행하려고한다고 가정 해 보겠습니다. 추가 모드 나 마지막으로 수정 한 상태로 점진적 가져 오기를 수행 할 수 있음을 알고 있습니다. 그러나 작업이 테이블 이름, CDC 열 및 마지막 값/업데이트 된 값만 다를 경우 300

0열

1답변

Nifi - mysql db 테이블에 자르기 및로드

SFTP 사이트에서 CSV 파일을 읽고 Nifi를 사용하여 mysql db로로드하고 있습니다. 아래 작업 흐름이 정상적으로 작동하는 것 같습니다. 데이터로드를 시작하기 전에 테이블을 자르는 방법을 알아 내는데 도움이 필요합니다. Nifi 흐름 : ListSFTP -> FetchSFTP -> InferAvroSchema -> ConvertCSVtoAvro -

0열

1답변

Kafka 및 Hadoop의 데이터 수집 - 품질 검사 실패로 인해 발생할 수있는 데이터 중복을 방지하는 방법?

다음은 단순화 된 시나리오입니다. 동일한 소스의 동일한 원시 데이터가 필요한 N 개의 비즈니스 플로우. 데이터는 Kafka (일반 Kafka 파이프 라인)를 사용하여 섭취되고 모든 흐름에 대한 원시 데이터에서 품질 검사의 자동 흐름이 트리거되는 HDFS에 상륙합니다. 모든 N 플로우에는 데이터의 다른 품질 표준이있을 수 있습니다. 예를 들어 원시 데이터가

0열

1답변

CrateDB에서 삽입 벤치 마크를 어떻게 평가해야합니까?

CrateDB에서 제공되는 벤치 마크를 이해하고 해석하려고합니다. (https://staging.crate.io/benchmark/) 1 초 동안 몇 개의 요소를 삽입 할 수 있는지 관심이 있습니다. 이것은 튜플의 크기에 따라 다를 수 있음을 알고 있습니다. 그리고 저는 CrateDB가 exmpale에서 사용하는 것과 동일한 ements-size를 가지고

0열

1답변

드루이드와 카프 카 섭취 : 필터링 데이터

카프카에서 드루이드로 섭취하는 동안 치수 값으로 데이터를 필터링 할 수 있습니까? 고려 사항 차원 : version, 값 : v1, v2, v3v2 만로드하고 싶습니다. 내가이 불꽃을 사용하여 수행 할 수 있습니다 실현/FLINK/카프카 스트림,하지만 어쩌면 당신이 손 전에 데이터를 필터링해야 드루이드 측면에서 out-of-the-box 솔루션

0열

3답변

GET 메소드를 사용하여 Google BigQuery로 데이터를 스트리밍 하시겠습니까?

데이터를 BigQuery로 스트리밍/삽입하려면 Google Rest API와 같은 기존 솔루션을 사용하는 것이 좋습니다. 데이터를 보내기 위해 POST 메서드를 사용하고 싶지 않습니다. 많은 설계상의 이유로. 나는 초당 1000 초의 쓰기를 기대하고 있습니다. 데이터는 URL의 쿼리 매개 변수에 추가됩니다. 이는 Google 애널리틱스가 수행하는 것과 매우

1열

1답변

NiFi를 사용하여 하이브에 데이터를로드하는 가장 좋은 방법은 무엇입니까?

저는 NiFi로 작업하기 시작했습니다. 하이브에 데이터를로드하는 유스 케이스에 대해 노력하고 있습니다. CSV 파일을 얻은 다음 SplitText를 사용하여 들어오는 플로우 파일을 여러 플로우 파일 (레코드별로 분할 레코드)로 분할합니다. 그런 다음 ConvertToAvro를 사용하여 분할 된 CSV 파일을 AVRO 파일로 변환합니다. 그런 다음 AVRO