hadoop

1열

2답변

오류 namenode.FSNamesystem : FSNamesystem initialization failed

우분투 VM에서 가상 분산 모드로 hadoop을 실행 중입니다. 최근에 내 VM에서 사용할 수있는 RAM의 수와 코어 수를 늘리기로 결정했는데, 이는 완전히 hdfs가 망가져있는 것처럼 보입니다. 첫째, 안전 모드에 있었고, 나는 수동으로 사용하는 것을 발표 : 하둡 dfsadmin하는 그런 을 떠나 내가 달릴 -safemode : 하둡 fsck를 -blo

1열

1답변

sub query in apache pig

apache pig에서 하위 쿼리 작성에 대한 도움말을 찾고 있습니다. A sam 12 grad maths sony 13 postgrad english B maths {(4.5,sam),(4,david)} english {(4.2,peter),(3.9,rob)} B.에 의해 두 A. $ × 3 주제, 즉 (a)에 의해 관계와 B $ 0 가입으

0열

1답변

하둡의 고객 파티셔닝

'chicken'10 '과 같은 레코드가있는 파일이 있습니다. "/ t"보다는 ""에 따라 데이터를 분할하여 "치킨"을 내 키로, "10"을 내 값으로 사용할 수 있습니다. 우리는 getPartition 메소드를 변경해야한다고 생각하지만 제대로 할 수는 없습니다. 누구든지 이것에 대한 예가 있습니까? 도움 주셔서 감사합니다.

3열

2답변

하이브 쇼 테이블에 오류가 발생했습니다

하이브를 실행하는 중에 다음 오류가 발생합니다. 나는 디폴트 더비 db를 사용하고있다. 내가 어떤 도움을 이해할 수있을 것이다 [email protected]:~/dse-1.0.1/bin# dse hadoop version Hadoop 0.20.204.1-dse1-SNAPSHOT Subversion git://ip-10-98-83-84/ on branc

4열

2답변

아파치 돼지에서 나는, <code>v</code>을 간단한 관계가 아파치 돼지

의 맵에서 값을 추출 할 수 없습니다 : @ orangeoctopus의 조언에 dump v; (151364,[ 'ref'#'R813','highway'#'secondary', 'name:ga'#'Lána Chairdif', 'name'#'Cardiff Lane'],(31015271, 31053762)) (151368,[ 'ref'#'N1', 'onew

1열

2답변

클러스터에서 여러 파일의 병렬 처리

내가 일하는 회사에서 매일 수천 개의 파일을 처리해야하는데 몇 시간이 걸립니다. 이 작업은 기본적으로 PDF를 고해상도 이미지로 변환하고 나중에 다양한 크기의 이미지를 생성하는 것처럼 CPU를 많이 사용합니다. 각 작업마다 많은 CPU가 필요하므로 모든 작업에 사용할 수있는 처리 능력이 없으므로 같은 시스템에서 많은 인스턴스를 시작할 수 없습니다. 따라서

2열

2답변

하둡 손상 블록

hadoop 0.20.append 및 hbase 0.90.0을 사용하고 있습니다. Hbase에 몇 가지 데이터를 업로드 한 다음 HMaster 및 Namenode를 평가 목적으로 강제 종료했습니다. 이 후 나는 Hbase에 몇 가지 더 많은 데이터를 추가했고 나는 hbase 쉘에서 그것들을 볼 수 있었다. 이제 네임 노드를 시작할 때 문제가 발생했습니다.

4열

2답변

카산드라와 돼지의 통합 - 선택 사항은 선택 사항입니까?

나는 시험용 카산드라 + 돼지 클러스터를 설치하려고합니다. 카산드라 위키는 돼지와 통합하기 위해 필요로하는 것처럼 소리가납니다. 하지만 cassandra-src/contrib/pig의 readme는 hadoop없이 cassandra에서 돼지를 실행할 수있는 것처럼 들립니다. hadoop이 선택 사항 인 경우 사용하지 않으면 무엇을 잃게됩니까?

0열

1답변

Solr 멀티 코어, 분산 아키텍처?

Solr을 검색 서버로 사용하려고 계획 중이며 자체 거미를 개발하거나 Nutch를 확장 할 수 있습니다. 저는 현재 내 목적에 부합하고 미래에 스케일 아웃 될 수 있도록 개방 된 상태로 유지되는 경제적 인 토폴로지를 설계하려고합니다. 모든 컴퓨터를 호스팅하는 데 Amazon AWS를 사용할 계획입니다. 내 질문은 아이디어와 요구 사항을 따르는 타당성을 이해

1열

1답변

Hadoop 작업에 대한 입력으로 Hadoop Sequentil 파일을 읽는 방법은 무엇입니까?

"org.apache.hadoop.typedbytes.TypedBytesWritable" 키 - 값 쌍을 가진 순차 파일이 있는데이 파일을 Hadoop 작업의 입력으로 제공해야하며 맵에서 처리해야합니다 만. 내 말은 내가 줄여야 할 일은하지 말라는 뜻입니다. 1) FileInputFormat을 SequentialFile로 어떻게 지정합니까? 2) 맵 기능의