sequencefile

2열

1답변

가 은 현재 내가 기존 SequenceFile에 추가하려면 다음 코드를 사용 Sequencefile에 추가 : // initialize sequence writer Writer writer = SequenceFile.createWriter( FileContext.getFileContext(this.conf), this.conf,

0열

1답변

돼지로 SequenceFile을 작성하지 못했습니다.

외부 MapReduce 작업을 실행하기 위해 일부 Pig 변수를 Hadoop SequenceFile에 저장하려고합니다. 내 데이터 (chararray, int)를 스키마를 가지고 있다고 가정 : import java.io.IOException; import java.util.logging.Level; import java.util.logging.Logg

0열

1답변

hadoop의 시퀀스 파일 포맷

C# 코드를 사용하여 Hadoop 분산 파일 시스템 파일을 시퀀스 파일로 쓰는 옵션이 있습니까? 그렇다면 나에게 링크 또는 다른 세부 사항을 제안 할 수 있습니다

1열

2답변

mahout에서 생성 된 시퀀스 파일을 텍스트 파일로 변환하는 방법

생성 된 시퀀스 파일 (.seq)을 일반 텍스트 파일로 변환하여 파서를 찾고 중간 출력을 알아 냈습니다. 나는 누군가가 이것을하는 방법을 우연히 만나는지 알기 때문에 기쁘다.

2열

1답변

예외를 사용하지 않고 HDFS의 파일이 SequenceFile인지 확인할 수 있습니까?

클라이언트 응용 프로그램에서 HDFS의 특정 SequenceFile을 읽으 려합니다. SequenceFile.Reader을 사용하여이 작업을 수행 할 수 있으며 정상적으로 작동합니다. 그러나 파일 이 a SequenceFile인지 여부를 확인한 후 IOException을 분석 할 수 있습니까? 결코 큰 SEQn을 읽는 네 바이트의 헤더와 SequenceFi

0열

1답변

hadoop 시퀀스 파일 값을 jackson 파서로 변경하는 방법은 무엇입니까?

나는 정말로 무엇을 해야할지 모르는 한 가지 문제가 있습니다. 웹 페이지의 링크가 포함 된 Hadoop 시퀀스 파일이 있습니다. Hadoop 시퀀스 파일의 각 항목은 키가 하나의 웹 페이지의 URL이되며 값은 속성과 링크가됩니다. 값은 실제로 Json 형식입니다. 모든 시퀀스 파일을 읽고 잭슨 파서에 값을 전달하여 링크를 가져오고 싶지만 항상 실패합니다.

0열

1답변

Hadoop의 각 파일에서 파일 이름 및 단어 수를 읽는 방법은 무엇입니까?

나는 비범 한 패키지의 도움으로 hadoop에서 시퀀스 파일의 파일 이름을 가져 오려고합니다. 그러나 그것은 나에게 어떤 종류의 식별자를 제공합니다. 이 파일 이름을 어떻게 매핑 할 수 있습니까? 단계 1) 생성 시퀀스 파일 명령 : hadoop jar /mnt/Clustering/Checking/AllJars/binarypig-1.0-SNAPSHOT-ja

0열

2답변

MapReduce를 사용하여 텍스트를 시퀀스로 변환하면 정크 문자가 생성됩니다.

저는 MapReduce를 사용하여 텍스트 파일을 시퀀스 파일로 변환합니다. 각 줄의 시작 부분에 숫자가 표시됩니다. 어떻게 그들을 제거하거나 내 산출물에서 오는 것을 막을 수 있습니까? 텍스트 : d001 Marketing d002 Finance d003 Human Resources 변환 된 시퀀스 파일 : 시퀀스 파일 0 d001 Marketi

2열

3답변

SequenceFile이 잘리는 이유는 무엇입니까?

나는 Hadoop을 배우고 있으며,이 문제는 당황 스럽습니다. 기본적으로 디스크에 SequenceFile을 쓰고 다시 읽습니다. 그러나, 읽을 때마다 EOFException을 얻을 때마다. 자세히 살펴보면 시퀀스 파일을 작성할 때이 파일은 조기에 잘 리며 인덱스 962를 작성한 후에 항상 발생하며 파일의 크기는 항상 45056 바이트로 고정되어 있습니다.

0열

1답변

HDFS에서 sqoop에 의해 가져온 시퀀스 파일이 하이브에서 읽히지 않습니다

--as-sequencefile 옵션을 사용하여 MySql에서 HDFS로 테이블을 가져 왔습니다. 그런 다음 STORED AS SEQUENCEFILE 절이있는 하이브 테이블과 Sqoop 가져온 시퀀스 파일이있는 HDFS 위치를 가리키는 LOCATION 절을 만들었습니다. Sqoop을 가져 오기 명령을 sqoop import --connect jdbc:mys