hadoop2

1열

1답변

지도 작업에서 모든 입력 레코드를 트래버스하지 않아도되는 경우가 있습니다. 예를 들어 각 매퍼에서 특정 조건을 만족하는 최대 200 개의 레코드 만 내보내고 나면 종료 할 수 있습니다. 내가 할프럽에서 이것을 할 수 있습니까? API 문서에서 관련 메소드를 아직 찾을 수 없습니다.

0열

1답변

하둡 클러스터는지도 작업을 줄일 실행되고 있지 않습니다 - 문제를 스케줄러

내가 these 다음 작은 하둡 클러스터를 설정 (이것은 내가이 문제에 있었다 이전 문제에 관한 한 토론의 후속이다) Hadoop 버전 2.7.4를 사용합니다. 클러스터가 정상적으로 작동하는 것으로 보이지만 mapreduce 작업을 실행할 수 없습니다. 특히, 17/11/27 16:35:21 INFO client.RMProxy: Connecting to R

0열

1답변

돼지를 사용하여 도시, 연도 및 임시 진입을 필터링합니까?

기록 : Pune,2007,31.5 Pune,2007,30.5 Pune,2008,34.5 Blre,2009,13.0 Blre,2009,10.5 스크립트 내가 사용 : grunt> A = LOAD '/home/cloudera/temp' using PigStorage(',') AS (city:chararray,year:int,temp:double);

0열

1답변

beeline 암호화 된 암호 파일을 사용하는 LDAP 인증

Beeline CLI를 사용하여 HiveServer2를 연결하고 있습니다. 나는 연결하기 위해 다음 명령을 사용하고 있습니다 : beeline -u jdbc:hive2://myhost.abc.com:10000/default -n myuser -w pass_sa -e "show tables;" 연결이 성공하고 내 암호가 내가 암호 파일을 사용하여 암호화 된

-1열

1답변

오류를 해결하는 방법 : 값 reduceByKey is org.apache.spark.rdd.RDD [(Int, Int)]의 멤버가 아닙니까?

저는 아파치 스파크를 배우고 스칼라 터미널에서 작은 프로그램을 실행하려고합니다. 나는 다음과 같은 명령을 사용하여 DFS, 원사, 역사 서버를 시작 : start-dfs.sh start-yarn.sh mr-jobhistory-deamon.sh start historyserver 다음 스칼라 터미널에서, 내가 쓴 다음 명령을 var file = sc.

0열

1답변

웹 페이지에서 파일을 직접 다운로드하여 로컬을 사용하지 않고 HDFS에 파일을 직접 배치하는 방법은 무엇입니까?

도움이 필요합니다. 파이썬 코드를 사용하여 웹 페이지에서 파일을 다운로드하고 로컬 파일 시스템에 배치 한 다음 put 명령을 사용하여 HDFS로 전송 한 다음 작업을 수행합니다. 그러나 파일 크기가 매우 커지고 로컬 파일 시스템으로 다운로드하는 것이 올바른 절차가 아닌 경우가 있습니다. 그래서 나는 파일을 로컬 파일 시스템을 사용하지 않고 HDFS로 직접

0열

1답변

rdd를 다른 S3 버킷에 simultaniously 저장하는 방법

계산 된 rdd를 다른 위치에 저장하는 방법을 알고 싶습니다. 또한 계산없이 알림을 위해 같은 것을 확장하십시오. rdd = <do some action> 내가 rdd.saveAstextFile("s3://<location1>")는 location1, 에 저장합니다하지만 location2에 저장하려면 방법도 그것을 어떻게 알고? persist/cache

0열

1답변

메모리 구성

메모리 구성에 대한 질문이 있습니다. Spark, Cassandra, Hadoop, Thrift 및 Yarn으로 3 노드 클러스터를 실행 중입니다. hdfs에 파일을 저장하고 싶기 때문에 hadoop을로드했습니다. 내 쿼리를 실행할 때 메모리가 부족하다는 것을 알았습니다. 필자는 4GB 미만으로 실행되도록 카산드라를 제한하는 방법을 파악할 수있었습니다. 거

0열

1답변

YARN이 컨테이너를 죽일 때를 감지합니다.

Java에서 MR2 작업이 있습니다. 컨테이너 내부에서 컨테이너 제거를 감지하고 처리 할 수 있습니까? 내가 Runtime.getRuntime().addShutdownHook(new Hooker(this)); 과 같은 코드를 사용하려고하지만, 발견 된 후커 클래스 인스턴스의 로그가 없습니다했습니다. 아마도이 컨테이너에 자바 힙 덤프를 가져올 수 있습

0열

2답변

출력에서 헤더를 제거하십시오.

하이브 테이블을 조회하고 출력 결과를 변수로 저장하기 위해 beeline cli를 시도하고 있습니다. +---------------+--+ | record_count | +---------------+--+ | 80785 | +---------------+--+ 내가 같은 결과를 필요로하는 동안 : Record count:80785 또 다른