hadoop-streaming

1열

1답변

HDFS에서 데이터를 읽기 위해 스파크 스트리밍을 사용하고 싶습니다. 아이디어는 다른 프로그램이 내 스파크 스트리밍 작업이 처리 할 HDFS 디렉토리에 새 파일을 계속 업로드한다는 것입니다. 그러나, 나는 또한 끝 조건을 갖고 싶다. 즉, HDFS로 파일을 업로드하는 프로그램이 스파크 스트리밍 프로그램에 신호를 보내면 모든 파일을 업로드하는 방법입니다. 간

0열

1답변

Hadoop Streaming에서 Python mapreduce를 실행하는 방법

주어진 입력 파일에서 소수의 평균 합계를 계산하는 Apache Hadoop에서 mapreduce 프로그램을 실행하려고합니다. 이 내 매퍼 import sys for word in sys.stdin: print(word) 입니다 그리고 난 다음 명령을 실행할 때, 지금 감속기 import sys primes = [] for word in s

0열

1답변

웹 페이지에서 파일을 직접 다운로드하여 로컬을 사용하지 않고 HDFS에 파일을 직접 배치하는 방법은 무엇입니까?

도움이 필요합니다. 파이썬 코드를 사용하여 웹 페이지에서 파일을 다운로드하고 로컬 파일 시스템에 배치 한 다음 put 명령을 사용하여 HDFS로 전송 한 다음 작업을 수행합니다. 그러나 파일 크기가 매우 커지고 로컬 파일 시스템으로 다운로드하는 것이 올바른 절차가 아닌 경우가 있습니다. 그래서 나는 파일을 로컬 파일 시스템을 사용하지 않고 HDFS로 직접

1열

1답변

Hadoop-Installation-Multinode

안녕하세요, 모두 멀티 노드 hadoop 설치를 설치하려고합니다. 모든 것이 잘 작동하지만 원사에 대한 내 노드 관리자가 작동하지 않습니다. 내가 원사 nodemanager에 대한 로그 파일에서 보았을 때, 나는 그것의 실제 메모리와 가상 코어를 표시되지 않는 이유를 전혀 모르는 정보 "org.apache.hadoop.yarn.server.nodemanag

2열

2답변

최대 스파우트 용량

IoT 데이터에서 스트리밍 분석을 수행하기 위해 헤론을 사용하고 있습니다. 현재 아키텍처에서 병렬 처리 요소 1을 가진 스파우트가 하나만 있습니다. 스파링에서 내부적으로 사용하는 대기열에서 헤론이 보유 할 수있는 데이터 양에 대한 통계를 벤치마킹하려고합니다. 값을 전달하여 setMaxSpoutPending() 메서드를 사용하고 있습니다. 이 메소드에 전달하

1열

1답변

Streamsets 클래스를 찾을 수 없습니다. 예외

StreamSet에 파이프 라인을 만들어 SQL에서 데이터를 읽고 데이터 캡처를 변경했습니다. 내가 파이프 라인의 실행을 시작하면 다음 오류가 발생합니다. 파이프 라인 상태 : START_ERROR : java.lang.NoClassDefFoundError가 : 조직/아파치/카프카/일반/KafkaException

1열

1답변

파이썬에서 JSON 파일에 대한 스트리밍 mapreduce 작업을 작성하는 방법은 무엇입니까?

Hadoop에서 Json 파일을 처리하기 위해 Python 코드를 사용하여 Mapper를 작성하는 방법. I 코드 아래 시도 : 쉘 명령 cat user_info.json | python mapper.py을 사용하여 상기 코드를 실행하는 방법에 import json import sys data = json.loads(sys.stdin) 그것이 보이고

2열

1답변

"스트리밍 방식"으로 읽은 데이터의 의미는 무엇입니까?

나는 Apache Crunch documentation을 읽고 있던 나는 다음과 같은 문장을 발견 데이터 스트리밍 방식으로 파일 시스템에서 읽어을, 그래서 는 메모리 에 맞게 PCollection의 내용에 대한 요구 사항은 없다 그것은 materialization을 사용하여 클라이언트로 읽어들입니다. 나는 어떤 의미인지 알고 싶습니다. 누군가가 데이터를 읽

1열

1답변

FLUME을 사용하여 Hadoop에 데이터 저장

hadoop 설치 및 Flume 튜토리얼의 모든 단계를 수행했습니다. 빅 데이터 도구에 익숙하지 않습니다. 다음과 같은 오류가 발생합니다. 나는 이해가 안된다. 문제는 어디에 있는가? 설치시 많은 게시물을 읽었지만 여전히이 문제에 직면하고 있습니다. 궁극적 인 목적은 R. 17/09/29 02:25:39 INFO node.PollingPropertiesFi

0열

1답변

사용 권한 STS java 프로그램에서 로컬 시스템의 파일을 HDFS로 복사 할 때 만료

나는 HDFS에서 wokring하고 hadoop conf 및 fs 패키지의 Configuration 및 FileSystem 클래스를 사용하여 로컬 시스템에서 HDFS 파일 시스템으로 파일을 복사하려고합니다. import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io