hadoop

0열

1답변

다음 샘플 세트와 같은 표가 있습니다. ColA AAAA BBBB CCCC 출력을 얻으려는 다음 쿼리를 사용했습니다. SELECT LPAD (ColA,5,'0')FROM TableName; 출력이 다음과 같이 표시됩니다. ColA 0AAAA 0BBBB 0CCCC 하지만 테이블의 값을 출력 값으로 바꾸고 싶습니다.

0열

1답변

하이브 테이블 아카이브

내부 및 외부 테이블과 파티션 및 파티션되지 않은 하이브 테이블에 아카이브 및 제거 메커니즘을 적용하려고합니다. 나는 site_visitors 테이블을 가지고 있으며 visit_date로 파티션되어 있습니다. 그리고 지난 1 년 동안 사용자가 내 사이트를 방문하지 않은 site_visitors 테이블 데이터를 보관하려고했습니다. 동시에이 보관 된 데이터를

1열

1답변

Java 파일을 자동 생성하는 방법은 무엇입니까?

저는 Sqoop을 사용하여 MySQL과 HDFS간에 파일을 가져 오기 작업하고 있습니다. 내가 일할 때 두 개의 java 파일이 내 홈 디렉토리에서 자동 생성되었다. 파일을 열었을 때 Sqoop 명령과 동일한 작업을 수행하는 코드가 포함되어있었습니다. 다음은 내 sqoop 코드입니다. sqoop import --connect "jdbc:mysql://qui

0열

2답변

SQOOP - 가져 오기 실패 : Null 문자열에서 경로를 만들 수 없습니다.

SQL 서버에서 SQOOP 증분 업데이트를 사용하여 HBase 테이블로 테이블을로드 중입니다. 그러나 SQL 테이블의 null 값은 HBase로 가져올 수 없습니다. 나는 Hbase가 null 값을 지원하지 않으며 null을 포함하는 필드가 Hbase에 존재하지 않는다는 것을 이해합니다. 하지만 내 관심사는 특정 레코드가 필드에 값이있는 경우에도 대부분의

1열

1답변

HDFS의 파일 압축 해제

현재 Python 3을 사용 중이며 HDFS에서 피클 파일을로드하려고합니다. from pywebhdfs.webhdfs import PyWebHdfsClient import pickle hdfs = PyWebHdfsClient(host='...', user_name='...') pickled_model = hdfs.read_file(pickle_pat

0열

1답변

아파치 돼지에서 csv 파일을 로딩하는 중 오류가 발생했습니다

hdfs 모드에서 아파치 돼지의 다음 명령을 사용하여 데이터를로드하려고했습니다 : test = LOAD /user/swap/done2.csv PigStorage (',')를 (ID : long, Country : chararray, Carrier : float, ClickDate : chararray, 장치 : chararray, OS : chararray

0열

1답변

Spark의 Hadoop Credential 공급자를 사용하여 Oracle 데이터베이스에 연결하는 방법은 무엇입니까?

나는 스파크와 오라클, 그리고 Sqoop과 오라클 간의 안전한 연결을 시도하고있다. 내 연구 후 두 가지 설정에 대해 두 가지 옵션을 발견했습니다. 암호가 spark.jdbc.b64password를 사용하여 암호화하고이 스파크 코드를 해독하고있다 촉진 및 JDBC URL에 사용되는 오라클 연결 스파크. Hadoop 자격증 명 공급자를 사용하여 암호 파일을

0열

1답변

파이썬 명령은 원사 실행중인 응용 프로그램에서 사용하는 용기 vcores의 수를 얻기 위해이 질문과 답변에 따라

1. 문제 : yarn application -status application_1511888377927_11169 에 : YARN shell command to get number of containers and vcores used by running applications 내가이 원사 응용 프로그램 명령을 사용하여 결과는 다음과 같습니다. Appl

0열

1답변

YARN이 컨테이너를 죽일 때를 감지합니다.

Java에서 MR2 작업이 있습니다. 컨테이너 내부에서 컨테이너 제거를 감지하고 처리 할 수 있습니까? 내가 Runtime.getRuntime().addShutdownHook(new Hooker(this)); 과 같은 코드를 사용하려고하지만, 발견 된 후커 클래스 인스턴스의 로그가 없습니다했습니다. 아마도이 컨테이너에 자바 힙 덤프를 가져올 수 있습

1열

2답변

hadoop .xml 파일을 편집 할 노드는 무엇입니까?

hadoop.xml 구성 파일 (예 : hdfs-site.xml)을 편집 할 때 hadoop 클러스터의 노드가 파일 편집에 사용되는 노드 여야합니까? 예. 많은 노드로 구성된 클러스터에서 .xml과 .properties 파일을 포함하는 hadoop 폴더가 있는데, 파일을 '설정'하면 구성을 변경해야합니다. docs을보고 알 수 없습니다. 예 : 구성 변경