hadoop2

4열

2답변

나는 Hbase 쿼리를 위해 클라이언트로 Java를 사용하고 있습니다. 내 HBase와 테이블은 다음과 같이 설정 :는 ROWKEY | HOST | EVENT -----------|--------------|---------- 21_1465435 | host.hst.com | clicked 22_1463456 | hlo.wrld.com | dr

0열

1답변

YARN MRv2 JobClient equivalent

MRv2에 해당하는 JobClient (Java, MRv1)를 찾을 수 없습니다. 나는 실행중인 작업에 대해 MR 작업 상태, 카운터 등을 읽으려고합니다. 그 자원 관리자로부터 정보를 얻어야 할 것입니다. (작업이 끝나기 전에 히스토리 서버가 정보를 갖고 있지 않기 때문에 작업이 여전히 실행되는 동안 카운터를 읽어야합니다.) mapreduce API에 누락

0열

1답변

ISO 날짜 형식을 문자열에서 날짜로 변환하면 오류가 발생합니까?

날짜 형식 문자열에있는 ISO 날짜 형식 ('2016-06-23T20 : 04 : 41.914Z')을 변환하려고했습니다. Pig Docs에서 문자열을 날짜 (this)로 변환하는 ToDate 함수가 있습니다. . 그래서 나는 다른 방법으로 그것을 시도 : 1. b = FOREACH a GENERATE ToDate(status_date,'yyyy-MM-dd

0열

1답변

각 노드의 로컬 파일 시스템 또는 드라이버 노드의 입력입니까?

Hadoop은 로컬 파일 시스템에서 입력을 허용하지만 입력이 모든 노드의 로컬 파일 시스템에서 발생했는지 또는 드라이버 노드의 로컬 파일 시스템에서만 발생했는지는 알 수 없습니다. 하둡 스트리밍에서 에서, -input 옵션은 지정된 파일 이름을 가진 모든 노드에서 입력을 의미하는 것 같다, 나는이

1열

2답변

hadoop 설정 읽기 Java 프로그램의 유닉스 경로에서 파일

Java 응용 프로그램을 개발 중이며이 응용 프로그램은 결과 데이터를 HDFS에 저장합니다. 자바 응용 프로그램은 내 Windows 컴퓨터에서 실행해야합니다. 현재로서는 core-site, hdfs-site.xml과 같은 Hadoop 구성 파일을 내 Windows 컴퓨터에 복사하고 테스트했습니다. 아래는 나의 구성 코드 스 니펫입니다. config.addR

1열

1답변

hadoop의 API 컨텍스트에 대한 세부 정보는 어디에서 찾을 수 있습니까?

몇 가지 일상적인 Hadoop MapReduce 작업을 코딩 했으므로 주어진 Apache Hadoop 소스 코드의 예제를 기반으로 context.write() 메서드를 호출합니다. 그러나 그런 종류의 사본은 Hadoop API를 더 깊이 이해하는 데 도움이되지 않습니다. 따라서 최근에 나는 Hadoop API 문서 (https://hadoop.apache.

1열

1답변

컨테이너를 죽이기 전에 힙 덤프를 가져 오는 YARN 매개 변수

가끔 원사 메모리 제한을 초과하는 컨테이너가있는 실속 원사 응용 프로그램 (m/r이 아님)이있어 원사가 문제가되는 컨테이너를 죽입니다. 힙 (heap) 증가의 원인을 판별하는 것이 어려워졌습니다. 원사에 컨테이너를 죽이기 전에 힙 덤프를 가져 오도록 지시 할 수있는 원사 매개 변수가 있습니까?

0열

1답변

','은 "우리가 있습니다" 샘플 23 , 샘플에서 대담한 내가 CSV 파일을 가지고 있고 그 열을 포함 할 수 있습니다 CSV

인용 하이브 테이블 및로드 데이터를 생성 (100) 23, ", 100 요구 사항은 하이브 테이블에로드됩니다 (col1 int, col2 array, col3 int).

1열

2답변

하이브 쿼리 문제 - 잘못된 테이블 별칭 또는 열 참조

Case 문을 포함하는 쿼리가 있고 CASE의 출력이 Hive의 다른 열을 비교하는 데 사용됩니다. 동일한 쿼리를 실행할 수 없습니다. 여기에 쿼리가 있습니다. . SELECT AL1.RECORD_ID, AL1.CARRIER_CODE, AL1.ORIG_AP_CTY_CDE, AL1.ORIG_STATE_CODE

0열

2답변

Hadoop 2 노드 클러스터 UI (라이브 노드 1 개 표시)

Hadoop 2.7 2 노드 클러스터를 구성하려고합니다. 시작 시간이 인 start-dfs.sh와 start-yarn.sh를 사용합니다. 마스터 및 슬레이브의 모든 서비스가 완벽하게 시작됩니다. . Here is my jps command on my master: 23913 Jps 22140 SecondaryNameNode 22316 ResourceM