hadoop

0열

1답변

스파크 saveAsTextFile은 빈 파일을 작성 - <directory>이 _ S3

rdd.saveAsTextFile("s3n://bucket-name/path)에 $ 폴더 $ 폴더 이름으로 빈 파일을 만드는 등 - [folder-name]_$folder$ 은 하둡 파일 시스템과 같은 S3 파일 시스템을 해내 hadoop-aws jar (of org.apache.hadoop)에 의해 사용이 빈 파일처럼 보인다. 그러나 내 응용 프로그램은

0열

1답변

드리프트 serde를 사용하여 하이브 테이블 만들기

ThriftSerDe를 통해 생성 될 스키마가있는 외부 하이브 테이블을 만들고 싶습니다. 그 일을하는 예를 찾을 수 없습니다. 내가 알아 낸 무엇, 그것은 어떻게 여기에 단지 이름을 제공 할 수 CREATE EXTERNAL TABLE IF NOT EXISTS <table name> ROW FORMAT SERDE 'org.apache.hadoop.hive

0열

1답변

하둡 HDFS의 네임 노드 형식은 내가 하둡을 config (설정) 후, 내 VM에서 hadoop3.0를 설치하려고하고 시도

내가 하둡 녹색 손 해요 작동하지 : hdfs namenode ‐format 얻은 출력 : 내가 네임 노드 서비스를 시작할 때 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property>

0열

1답변

Hadoop Count Query -

Hadoop의 새로운 기능으로, 프로젝트 레코드를 요약하려고합니다. - 밖으로 java.lang.Exception: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: ParseException line 23:0 missing EOF at 'where'

0열

1답변

REST API가 Spark와 상호 작용

Spark 컨텍스트를 REST API와 연결하려고합니다. 그래서 내 흐름이, 내 UI-nodejs에서 필요한 응답을 포함하는 스파크 컨텍스트 (Spark 작업 위의 하이브 테이블 위에 작동합니다)와 상호 작용해야하는 REST API로 요청을 보내고 다시 UI로 보내 디스플레이합니다. 이것을 달성 할 수있는 방법이 있습니까? UI < -> REST API <

0열

1답변

마지막 위치에있는 캐릭터 만 하이브로 교체합니다. - 하이브

특정 조건에 따라 하이브의 컬럼에서 마지막 캐릭터 만 바꾸고 싶습니다. 나는 결과를 원하는 반면 15101 A5A0A 은 다음과 같습니다 : 15101 1510A 하는 사람이 도와 주실 수는 다음과 같이 내 코드로이 코드에 대한 그래서 select case when amtsv111 >= 0 then case when s

0열

2답변

출력에서 헤더를 제거하십시오.

하이브 테이블을 조회하고 출력 결과를 변수로 저장하기 위해 beeline cli를 시도하고 있습니다. +---------------+--+ | record_count | +---------------+--+ | 80785 | +---------------+--+ 내가 같은 결과를 필요로하는 동안 : Record count:80785 또 다른

0열

1답변

각 매퍼가 수행하는 작업

여러 개의 조인이있는 sql이 있습니다. 2017-12-28 05:15:53,140 Map 1: 15/15 Map 6: 9/9 Map 7: 29/29 Map 8: 198(+2)/200 Map 9: 1/1 Reducer 2: 1/1 Reducer 3: 0(+1)/1 Reducer 4: 0(+3)/3 Reducer 5: 0(+11)/11 위의 내용은 지난

0열

1답변

3.0.0의 mapred-site.xml.template 파일이 없음

오라클 가상 박스 5.1 및 우분투를 사용하여 Windows 배포판에 가상 분산 노드 Hadoop 클러스터를 설치하는 중입니다. 이미 미러 사이트에서 3.0.0 버전을 다운로드했습니다. 나는 mapred-site.xml.template 파일이 릴리스에 포함되지 않은 디렉토리 /usr/share/hadoop/etc/hadoop 에 명령을 sudo cp $HA

-3열

1답변

데이터 프레임을 비교하는 pyspark intersection() 함수

다음은 두 개의 데이터 프레임을 비교하고 교차 함수를 부과하기 위해 작성한 코드입니다. import os from pyspark import SparkContext sc = SparkContext("local", "Simple App") from pyspark.sql import SQLContext, Row sqlContext = SQLContext