sequencefile

0열

1답변

저는 하둡 (Hadoop)을 처음 사용하고 몇몇 시퀀스 파일을 보았습니다. Sequence File을 읽으면서 시퀀스 파일을 만드는 3 가지 방법이 있습니다. 이제 시퀀스 파일을 가지고 있는데, 어떤 종류의 시퀀스 파일인지를 어떻게 알 수 있습니까? 그것에 관한 메타 정보를 어떻게 읽습니까? 왜냐하면, 시퀀스 파일을 가지고 있고 비슷한 시퀀스 파일을 생성

1열

2답변

큰 시퀀스 파일을 여러 시퀀스 파일로 분할하는 방법은 무엇입니까?

약 6 천만 개의 항목 (거의 4.5GB)이 포함 된 큰 시퀀스 파일이 있습니다. 분할하고 싶습니다. 예를 들어, 나는 그것을 3 개의 부분으로 나누고 싶다. 각각은 2 천만 개의 항목을 갖고있다. 지금까지 내 코드는 다음과 같습니다. //Read from sequence file JavaPairRDD<IntWritable,VectorWritabl

0열

1답변

수동으로 생성 된 (하드 코딩 된) Hadoop 시퀀스 파일을 읽을 때 ChecksumException이 발생합니까?

파일을 Hadoop의 시퀀스 파일에 저장하는 코드를 작성했습니다. 키는 파일 이름이고 값은 파일의 바이트 배열입니다. 출력은 시퀀스 파일과 .crc 파일입니다 그 후 시퀀스 파일에서 읽으려고했으나 체크섬과 관련하여 예외가 있습니다. Exception in thread "main" org.apache.hadoop.fs.ChecksumException: Che

0열

1답변

HDFS에 이미지 파일 (jpeg, png)을 저장할 입력 형식

HDFS (Hadoop File System)에 이미지 파일 (예 : jpeg, png 등)을 저장하려고합니다. put 명령을 사용하여 HDFS에 (같은 형식 즉)를 그대로 저장된 이미지 파일 : 나는 두 가지 방법을 시도했다. 전체 명령은 hadoop fs -put /home/a.jpeg /user/hadoop/입니다. 그것은 성공적으로 배치되었습니다.

1열

1답변

HDFS의 구조화되지 않은 데이터 행에 대한 데이터 저장 형식

우리는 수신 한만큼 빨리 작성해야하며 HDFS를 사용하므로 매우 큰 데이터를 사용하므로 더 선호합니다. 데이터는 거의 구조화되지 않았으므로 거의 쿼리를 수행하지 않습니다. 데이터는 일부 필드가 포함되어 있고 각 행은 다른 데이터를 나타냅니다. key1=str key2=30.3 key3=longtexthere 또 다른 데이터 행 : key1=3 key5=

0열

1답변

Spark에서 시퀀스 파일을 만들 수 있습니까?

현재 레코드의 속성 중 일부가 시퀀스 파일의 키로 취급되고 해당 키에 해당하는 모든 레코드가 하나의 시퀀스 파일에 저장되는 레코드에서 시퀀스 파일을 생성하는 돼지 구현이 있습니다. 우리가 스파크로 움직이기 시작할 때, 나는 이것이 스파크에서 어떻게 이루어질 수 있는지 알고 싶습니다.

1열

1답변

Hadoop 시퀀스 파일이 HDFS가 아닌 다른 파일 시스템에서 지원되는지 여부

시퀀스 파일 형식이 HDFS와 다른 파일 시스템에서 지원됩니까? 필자는 시퀀스 파일 형식을 파일 시스템에 작은 파일을 병합하고 저장하는 데 사용할 수 있는지 여부에 특히 관심이 많습니다. HFS + 또는 NTFS. 도움을 주시면 대단히 감사하겠습니다.

0열

1답변

기존 시퀀스 파일에 추가

파일을 기존 시퀀스 파일에 추가하는 방법에 대한 샘플 코드 스 니펫을 제공해 줄 수 있습니까?// 사용자/{의 homedirectory} : 다음 내가 기존의 시퀀스 파일 OUTPUTFILE에 추가하는 데 사용되는 코드이지만 시퀀스 파일을 읽는 동안 후에는 체크섬 오류 던지고 추가 : 문제 열기 체크섬 파일을 데스크탑/샘플/시퀀스 파일/출력 파일. 무시 예

0열

2답변

maven 프로젝트의 가져 오기 오류

가져 오는 중 모든 필수 종속성이 pom.xml에 추가되었지만 maven 프로젝트의 오류를 가져올 수 없습니다. 다음은 오류가 발생한지고 수입은 다음과 같습니다 import org.apache.hadoop.fs.CreateFlag; import org.apache.hadoop.fs.FileContext; import org.apache.hadoop.fs

0열

1답변

기존 시퀀스 파일에 추가하면 내용을 덮어 씁니다.

시퀀스 파일 작성자를 위해 아래의 코드 조각을 사용하고 있지만 시퀀스 파일이 없지만 내용을 추가하는 대신 내용을 덮어 쓰면 제대로 작동합니다. SequenceFile.Writer writer = SequenceFile.createWriter(FileContext.getFileContext(conf), conf, sequenceFile, Text.class,