apache-nifi

0열

1답변

"로컬로드"명령으로 로컬 파일 시스템에서 하이브 테이블로 데이터를로드 할 수 있기 때문에 대부분의 사람들이 putHFDS + replaceText + HiveQL를 원한다는 것이 확실하지 않습니다. 워크 플로에서 putHDFS를 하나 더 추가하는 대신 "replaceText + HiveQL"을 사용하는 것보다 낫지 않습니까?

0열

1답변

Nifi : 특성 프로세서에서 잘못된 프로세서로 연결

REST API를 사용하여 카운터의 특정 값을 검사하는 NIFI의 흐름을 테스트하고 있습니다. REST 응답에서 올바른 값을 추출 할 수 있습니다. 그러나 Route on Attribute 프로세서에서 조건을 확인할 때 예상 일치 조건의 결과는 일치하지 않는 프로세서로 라우팅됩니다. 이미 "1"로 내 반응을 확인했다 Flow 및 configuration :

0열

1답변

NIFI : 모든 이전 프로세서가 실행을 마칠 때까지 기다렸다가 한 번만 수행하는 방법?

많은 다른 프로세서에서 복잡한 작업이 실행되는 NIFI 시나리오가 있습니다. 나는이 흐름의 끝에 하나 이상의 프로세서를 추가하고 싶다. 이 프로세서는 모든 프로세서가 끝날 때까지 기다렸다가 한 번 실행하려고합니다 (한 번만!). 어떻게 구현할 수 있습니까?

1열

1답변

NIFI : 메모리 부족 오류로 인해 힙 크기가 증가합니다.

NIFI 서비스가 시작되지 않는 문제가 있습니다. nifi-app.log를 모니터링하여 OutOfMemory 오류가 발생했습니다. 나는 bootstap.conf 파일의 메모리를 늘렸다. 그러나 오류는 여전히 지속됩니다. 첨부 이있는 nifi - app.log 나는 또한 손상되었을 수 있다는 두려움에 flowfile 및 콘텐츠 respository을 삭제 시

0열

1답변

Apache Nifi InvokeHttp 시간 초과 문제

Apache NiFi에서 InvokeHttp 프로세서에 문제가 있습니다. GET 요청을 통해 REST API에 연결하는 동안 시간 초과가 발생하면 메시지를 가져 오려고합니다. 장애 관계 문서 : 원본 FlowFile은 모든 유형의 연결 실패, 시간 초과 또는 일반적인 예외로 라우팅됩니다. 요청을 자세히 설명하는 새로운 속성이 있습니다. 20 초 후에 응답하

0열

1답변

NIFI (S3 to HDFS)

ListS3, fetchS3object 및 PutHDFS를 사용하여 S3에서 HDFS로 데이터를 복사하려고합니다. S3 버킷의 데이터는 다음과 같이 구성됩니다. 동일한 폴더 구조 (폴더 이름이 동적 임)로 HDFS에 복사해야합니다. bucketname/부모 폴더 1/subfolder1/filename1.txt bucketname/부모 폴더 1/subfold

0열

1답변

NiFi 원격 프로세서 그룹 URL에서 로컬 호스트 사용

클러스터 된 NiFi 설정 (2- 노드)이 있고 RPG URL에있는 노드 중 하나의 IP 주소를 명시 적으로 나열하면 원격 프로세스 그룹이 작동합니다 (http : // : 8080/nifi). 문제는 템플릿에서 RPG를 사용하는 것입니다. RPG를 클러스터 환경 (Test-> Stage-> Prod)에 대한 새 노드 정보와 함께 다시 작성해야합니다. 어떻

0열

1답변

Nifi - mysql db 테이블에 자르기 및로드

SFTP 사이트에서 CSV 파일을 읽고 Nifi를 사용하여 mysql db로로드하고 있습니다. 아래 작업 흐름이 정상적으로 작동하는 것 같습니다. 데이터로드를 시작하기 전에 테이블을 자르는 방법을 알아 내는데 도움이 필요합니다. Nifi 흐름 : ListSFTP -> FetchSFTP -> InferAvroSchema -> ConvertCSVtoAvro -

1열

1답변

그루비 코드에서 음의 색인 오류를 제거하는 방법은 무엇입니까?

로그 파일을 줄이는 nifi 프로세서 (executeScript 프로세서) 안에 코드 논리가 있습니다 (이 경우 로그 파일에 동일한 텍스트가 있으므로 중복을 제거하고 이름과 파일 크기로 선택하려고합니다). 그러나 때로는 (항상은 아님) 음수 인덱스 오류가 발생했습니다. 코드를 변경해야 어떻게 작동합니까? import org.apache.nifi.proces

0열

2답변

NIFI의 HTTP 응답에서 첫 번째 행 제거하기

현재 InvokeHTTP 프로세서를 사용하여 HTTP 끝점을 HDFS로 처리 중입니다. 내 HTTP 엔드 포인트는 http://www.cbioportal.org/webservice.do?cmd=getMutationData&case_set_id=gbm_tcga_all&genetic_profile_id=gbm_tcga_mutations&gene_list=TP5