hadoop

0열

1답변

작업이 종료되면 Hadoop이 HDFS에서 임시 디렉토리를 삭제하지 않도록 알려주는 방법은 무엇입니까?

기본적으로 hadoop 맵 작업은 처리 된 레코드를 ${mapred.output.dir}/_temporary/_${taskid}의 임시 디렉토리에있는 파일에 씁니다. 이 파일은 FileCommiter가 ${mapred.output.dir}으로 이동할 때까지 여기에 있습니다 (작업이 성공적으로 완료된 후). 내가 어딘가에 setup()지도 작업의 위의 파일을

0열

1답변

하둡 다중 출력

내가 매핑 된 파일을 읽고 체크에 분할 해 많은 파일에 기록 일부 하둡 코드를 작성 : public void map(LongWritable key, Text value, OutputCollector<IntWritable, Text> output,Reporter reporter) throws IOException { String line = value.t

1열

1답변

하둡 및 RDBMS

하둡은 주로 비 구조적 또는 반 구조적 데이터를 처리하는 데 사용됩니다. 많은 양의 구조화 된 데이터를 처리하기 위해 Hadoop을 사용하고 싶습니다. hadoop은 DBInputFormat을 통해 데이터베이스에서 읽을 수 있지만 데이터베이스 연결 수가 제한되어 있으므로 확장 가능한 접근 방식으로 간주되지 않습니다. 누가 hadoop을 사용하여 RDBMS에

1열

3답변

Hadoop tasks : "execvp : permission denied"

다수의 개발자 워크 스테이션에 설정된 작은 Hadoop 클러스터 (즉, 로컬 구성이 다름)에서 문제가되는 TaskTracker가 하나 있습니다. java.lang.Throwable: Child Error at org.apache.hardoop.mapred.TaskRunner.run(TaskRunner.java:242) Caused by: java

1열

1답변

Hadoop의 DBInputFormat을 사용한 MultipleInputs

데이터베이스에 각 테이블이 다른 엔티티 유형 인 여러 테이블이 있습니다. 나는이 다른 엔티티 유형의 모든 필드의 합집합 인 엔티티 유형 필드가있는 hadoop에서 사용하는 Avro 스키마를 가지고있다. 내가 원하는 것은 엔티티 유형을 결합 된 Avro 유형에 맵핑하는 각 엔티티 유형에 대해 DBWritable을 사용하여 DBInputFormat을 설정하는

8열

2답변

Hadoop 의사 분산 모드에서 모든 코어의 전체 활용

4 코어 노트북에서 가상 분산 모드로 작업을 실행하고 있습니다. 모든 코어를 효과적으로 사용하려면 어떻게해야합니까? 현재 제 작업 추적자는 한 번에 하나의 작업 만 실행 중임을 보여줍니다. 즉, 하나의 코어 만 사용된다는 의미입니까? 다음은 구성 파일입니다. CONT/코어를 site.xml : <configuration> <property>

1열

1답변

슬레이브 노드가 Hadoop Map/Reduce Job을 실행할 수 있습니까?

두 노드 (마스터 및 슬레이브 노드)에 Hadoop을 설치했습니다. 슬레이브 머신에서 Map/Reduce 작업을 실행하거나 슬레이브 머신에서 HDFS를 사용할 수 있는지 물어볼 것입니다. 마스터 노드에서 map/reduce 작업을 실행해도 문제가 없지만 Slave 노드에서 Map/Reduce 작업을 실행하려고하면 다음 오류가 나타납니다. Java.net.c

2열

2답변

아마존에서 영구 데이터 스토리지 시스템을 호스팅하는 방법

많은 양의 데이터를 처리하는 프로젝트를 수행하고 있습니다. Ec2에서 그 프로젝트를 진행할 생각입니다. Hadoop을 사용하여 컴퓨팅을 수행하고 NoSql 시스템 (예 : Hbase/Cassandra)을 사용하여 데이터를 저장합니다. NoSql 시스템은 지속적이어야합니다 (데이터를 잃고 싶지 않습니다). 내가 아는 한, Hadoop과 NoSQL을 호스트하기

0열

1답변

Hadoop, Hive 및 Sqoop을 사용하여 MS SQL Server에서 데이터를 검색하고 분석하는 방법은 무엇입니까?

데이터베이스 (MS SQL Server)에있는 데이터에 대한 분석을 수행하려고합니다. 그렇다면 Sqoop/Hive의 도움으로 HDFS에서 어떻게 데이터를 가져올 수 있습니까? Hive/Sqoop로 가능합니까? 우리가 어떻게 할 수 있는지 제안 해주십시오. 감사합니다.

0열

1답변

MapFileOutputFormat for hadoop 0.20.203

MapFile에 출력하고 싶은 hadoop 작업이 있는데, MapFileOutputFormat이없는 hadoop 0.20.203을 실행중인 클러스터에서 실행해야합니다. 병렬로 MapFile에 SequenceFileOutputFormat (여러 SequenceFile을 포함 할 수 있다고 생각합니다)의 출력을 변환 할 수있는 방법이 있습니까? ArrayFil