hadoop

0열

1답변

: 맵리 듀스에서 지도 작업을 일반적으로 한 번에 하나 개의 블록에 동작의 노드에 비해 그래서 당신이있는 경우에 너무 적은 작업 (이하 클러스터), 귀하의 작업이 달리 수행 할 수있는 것보다 느리게 실행됩니다 이 문장은 HDFS 블록 크기에 대한 단락에 있지만 그 의미를 이해하지 못합니다. 도와 주시겠습니까?

0열

2답변

권한 문제는

내가 우리 CDH의 하둡 클러스터 우리는 를 실행하는 EMR 클러스터가) 2 S3에 백업 할 1) 내 문제를 상태로 S3하기 3) em3 클러스터에서 s3distcp를 실행하려고합니다. src를 cd3 원격 클러스터 및 대상의 hdfs URL로 제공합니다. 가 다음 오류 갖는 org.apache.hadoop.ipc.RemoteException (org.ap

0열

1답변

Hadoop 스 니펫 파일 암호 해독

그래서 HDFS에서 멋진 파일을 해독하는 데 몇 가지 문제가 있습니다. hadoop fs -text을 사용하면 파일 압축을 풀고 파일 만 출력 할 수 있습니다. 내가 hadoop fs -copyToLocal을 사용하여 파이썬 이따위로 파일의 압축을 해제하려고하면 그러나 나는 snappy.UncompressError: Error while decompress

0열

4답변

S3에서 하이브 외부 테이블을 생성하면 "org.apache.hadoop.fs.s3a.S3AFileSystem not found"예외가 발생합니다. 예외

내 로컬 컴퓨터에서 beeline을 사용하여 DDL 아래에서 실행하고 예외를 throw합니다. ": // 버킷/테이블 HDFS DFS -mkdir S3A" DDL이 예외가 org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error,

1열

1답변

redshift에서 파이썬으로 더 빨리 데이터를 처리하는 방법은 무엇입니까?

나는 python에 익숙하지 않다. 나는 redshift에서 내 데이터를 가지고 있으며 파이썬에서 더 빨리 데이터를 처리하려고한다. 저는 다양한 알고리즘을 실행하고 이러한 데이터에 대한 다양한 계산을 수행하기 때문에 파이썬을 사용하고 있습니다. 이는 레드 쉬프트에서는 불가능합니다. 자습서를 보았지만 파이썬으로로드 할 때마다 너무 많은 시간이 걸립니다. 이

0열

1답변

는 rsparkling, 물 실행, sparklyr

나는 H2O (rsparkling) 2.2, master=yarn 스파크 실행하는 데 노력 해왔다하지만 h2o_context(sc)을 실행할 때 나는 예외를 얻을 : Error: java.lang.NoSuchMethodError: org.apache.spark.util.Utils$.getUserJars(Lorg/apache/spark/SparkConf;Z)

0열

1답변

파티션 하이브 ORC 테이블의 여러 ORC 파일 (각 파티션에 속함)을 하나의 큰 ORC 파일로 결합하는 방법

하이브에 파티션 된 ORC 테이블이 있습니다. 가능한 모든 파티션이있는 테이블을로드 한 후 HDFS에서 가져옵니다. 여러 개의 ORC 파일 즉, HDFS의 각 파티션 디렉토리에는 ORC 파일이 있습니다. 각 파티션 아래에있는 모든 ORC 파일을 하나의 큰 ORC 파일로 결합해야 사용할 수 있습니다. 누가 여러 개의 ORC 파일 (각 파티션에 속함)을 하나의

0열

1답변

나는 NoSuchMethodError를 해결하려면 어떻게합니까 : 나는 hadoop.I에 프로젝트를 1 차원 문자열 array.its 이름이 "단어".I</p> <p>원하는이다 한 쓰고 있어요 org.apache.hadoop.mapred.InputSplit.write

감속기에 보내하지만 난이 오류 얻을 : Exception in thread "main" java.lang.NoSuchMethodError:org.apache.hadoop.mapred .InputSplit.write(Ljava/io/DataOutput;)V 어떻게해야합니까를? 아무도 도와 줄 수 있습니까? public abstract class Mapn

1열

1답변

HDFS에서 텍스트 파일 읽기 및 인쇄

을 사용하여 HDFS (Hadoop File System)의 텍스트 파일에서 바이트를 읽는 짧은 코드가 있습니다. 그것을 컴파일하고 잘 작동합니다. 텍스트 파일의 내용을 읽을 수 있도록 코드를 변경하려고합니다. ( char buffer[MAXBUFLEN+1] = {}; 후 최대 버퍼 길이를 통과 : 당신은 당신의 버퍼 이런 식으로 초기화한다 #inclu

1열

1답변

문제는 하둡-ENV하는, SH 파일을 SED

를 사용하여 내가 명령을 실행하면 : sed -i "\$aexport JAVA_HOME=c:\Program Files (x86)\Java\jre1.8.0_151\bin" $HADOOP_HOME/etc/hadoop/hadoop-env.sh 내가 오류를 얻을 : sed: can't read /usr/share/hadoop/etc/hadoop/hadoop-e