hadoop2

0열

2답변

돼지 스크립트에서 이중 파이프 구분 기호로 데이터를 추출 할 수 없습니다.

돼지에서 파이프로 구분 된 데이터를 추출하려고합니다. L = LOAD 'entirepath_in_HDFS/b.txt/part-m*' USING PigStorage('||'); 스피 받고 다음과 같은 오류 내 명령되어 다음 2016-08-04 23:58:21,122 [main] ERROR org.apache.pig.tools.grunt.Grunt - ER

0열

2답변

Mapper의 여러 입력 폴더 위치

Driver 클래스에서 여러 입력 폴더 위치를 제공 할 수 있습니까? 필자는 4 개의 입력 폴더 위치를 사용하여 드라이버 클래스에있는 모든 4 개의 폴더 위치를 지정하여 내 매퍼가 해당 4 개의 다른 폴더에있는 모든 파일에서 데이터를 읽을 수 있도록했습니다. 당신은 당신의 입력 파일을 추가 할 수 MultipleInputs 클래스를 사용할 수 있습니다

1열

1답변

ORAC 파일의 하이브 쓰기 속도 향상

현재 insert overwrite table T1 select * from T2;은 클러스터에서 약 100 분이 소요됩니다. Table T1 is ORC 및 T2 is text으로 형식이 지정됩니다. 나는 T2에서 60 GB의 텍스트 데이터를 읽고 ORC 테이블 T1 (삽입 후 10 GB)에 삽입하고 있습니다. 두 테이블 모두에 텍스트 형식을 사용하면 삽

0열

1답변

HIVE는

내가 스파크에 하이브를 구성하려고하지만, 심지어 5 일간 시도 후 내가 모든 솔루션을 못하고 있어요 .. 단계 다음 : 1.After 스파크 설치, 하이브에가는 콘솔 및 설정 아래 pro30rties set hive.execution.engine=spark; set spark.master=spark://INBBRDSSVM294:7077; set spar

0열

2답변

hadoop 저장소 디렉토리가 올바르게 가리키고 있지 않습니다.

hadoop 단일 노드 클러스터를 구성하려고 시도했지만 실제로는 namenode 및 datanode 디렉토리에 /home/hduser/data/namenode,/home/hduser/datanode,이 있지만 while 나는 namenode를 포맷하려고 시도하고 처음으로 클러스터를 시작하려고 시도하지만 namenode 스토리지 디렉토리는 /tmp 디렉토리/

-1열

2답변

업데이트 및 삭제 쿼리를위한 큰 데이터 저장소가 있습니까?

백 엔드 저장소로 하이브 및 hbase를 사용하고 있습니다. Hive는 원시 데이터 저장에 정말 좋습니다. 그러나 좋은 성능을 원한다면 쿼리를 업데이트하고 삭제할 수 없습니다. 현재 hbase 위에 phoenix를 사용 중입니다. 좋은 성능과 SQL 쿼리 지원 구문을 제공합니다. 그러나 hbase에 데이터를 가져 오는 것은 쉬운 일이 아닙니다. 임팔라 또는

0열

3답변

다른 스파크 컨텍스트에서 RDD에 액세스 할 수 있습니까

스파크를 처음 접했습니다. 다른 스파크 컨텍스트에서 정의 된 RDD를 사용할 수 있습니까? 그렇다면 어떻게? e. 우리는 스파크 컨텍스트 1에서 하이브 테이블 t1의 하나의 RDD를 생성합니다. 다른 스파크 작업에서 RDD를 사용할 수 있습니까 (참조 할 수 있습니까?).

2열

1답변

WEBHDFS REST API를 사용하여 Windows 서버/로컬 폴더/데스크톱에서 HDFS로 파일 복사/이동

WEBHDFS REST API 호출을 사용하면 Windows 시스템 (Windows 서버 또는 Windows 로컬 폴더 또는 데스크톱)에서 Hadoop- HDFS 파일 시스템? 예이면 모든 샘플 명령 정보가 필요합니까? 내가 노력하고 내가 Windows를 사용 할 수 있었다 -> (사용하여 FTP)을 -> 리눅스 디렉토리 -> (사용 webhdfs가) ->

0열

2답변

스칼라를 사용하여 스파크 셸의 데이터를 필터링하는 방법은 무엇입니까?

나는 "Walmart"를 방문했지만 "Bestbuy"가 아닌 사람의 ID 만 필요로하는 방식으로 spark (scala)를 사용하여 정렬해야하는 아래의 데이터가 있습니다. 상점은 반복적 일 수 있습니다. 왜냐하면 사람이 상점을 여러 번 방문 할 수 있기 때문입니다. 입력 데이터 : ID 저장 1 월마트 1 월마트 1 베스트 바이 2 대상 3 월마트 4 6,

1열

1답변

sbt 파일의 스파크 라이브러리에서 hadoop 의존성을 제외합니다.

spark 1.3.0에서 작업 중입니다. 내 build.sbt는 다음과 같이 보입니다 : libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "1.3.0" % "provided", "org.apache.spark" %% "spark-sql" % "1.3.0" % "provided",