hadoop

0열

1답변

돼지 패키지를 설치하기 전에 Hadoop을 설치해야합니다. 하둡 나는 태양 java6-jdk를 설치하려면 다음 명령을 실행하려고 installation.So 작업 자바 1.6.x 이상인 필요 $ sudo apt-get install sun-java6-jdk 을하지만 난 문제가 내가 다른 패키지를 설치하려고이 오류를 얻을 수 Traceback (most

1열

1답변

BulkOutputFormat을 사용하여 Hadoop Map 기능에서 Cassandra로 데이터를 스트리밍하는 방법은 무엇입니까?

1) 나는 하둡 작업의지도에서 행 키, 열 및 가치를 가지고 있고 나는 BulkOutputFormat를 사용하여 카산드라에 직접 스트리밍 할 수 있다는 것을 알게되었습니다. 2) 나는 코드를 겪었지만 그것을 사용하는 방법을 이해하는 것은 매우 어렵다. 이 BulkOutputFormat API를 사용하여 데이터를 Cassandra로 스트리밍 할 수 있습니까?

0열

2답변

"맵에서 키의 형식이 일치하지 않습니다"때문에 hadoop에서 작업이 실패합니다.

단일 Windows 컴퓨터에서 hadoop 설정을 위해 this tutorial을 접영했습니다. NameNode 및 JobTracker 서비스는 각각 http://localhost:50070 및 http://localhost:50030에서 작동합니다. 내지도를 시작하면 로컬/하둡 서버 (right click on TestDriver.java > run as

2열

1답변

하나의 파일 또는 디렉토리를 처리하는 하나의 매퍼 또는 감속기

Hadoop 및 MapReduce를 처음 사용했습니다. 나는이 내 일부 디렉토리와 파일이 (10메가바이트 크고 N이 될 수 각 파일을 100 파일을 압축하거나 압축 할 수있다) 같은 : MyDir1/파일 1 MyDir1/파일 2 ... MyDir1/fileN mydir2에/FILE1 mydir2에/파일 2 ... MyDir3/fileN 나는 1 매퍼 또는

0열

2답변

mapreduce의 입력으로 이미지 집합을 전달합니다.

일부 모듈에서 이미지 (jpg)를 얻는 시스템이 있습니다. 한 번에 10 개의 객체 (단일 객체의 경우 1000 개의 이미지)에 대한 이미지를 얻습니다 (한 번에 총 10000 개의 이미지). Hadoop 클러스터를 사용하여 이러한 이미지를 처리해야합니다. 나는 이것에 대해 어떻게해야하는지 궁금합니다. 입력 양식을 어떻게 구성해야합니까? 하나의 매퍼 또는

1열

1답변

Hadoop Standalone 및 Pseudodistributed 모드의 DataFlow 차이점은 무엇입니까?

누군가 Hadoop Standalone 및 Pseudodistributed 모드의 데이터 흐름의 차이점을 말해 줄 수 있습니까? 사실 나는 John Norstad가 제시 한 행렬 곱셈의 예제를 실행하려고합니다. hadoop 독립 실행 형 모드에서 제대로 실행되지만 의사 배포 모드에서는 제대로 작동하지 않습니다. 나는이 문제를 해결 할 수없는 나는 그래서 나

1열

1답변

아파치 돼지 라틴에서 GROUP의 반대편에?

의 내가 아파치 돼지에서 다음과 같은 입력 있다고 가정 해 봅시다 : (123, ((1, 2), (3, 4))) (666, ((8, 9), (10, 11), (3, 4))) 을하고 난 다음 7 행으로이 두 행을 변환 할 :이 반대를하고 '그렇다고입니다 즉 (123, (1, 2)) (123, (3, 4)) (666, (8, 9)) (666, (10

8열

3답변

인형을위한 Mapreduce

좋아, 나는 하둡과 mapreduce을 배우려고 시도하고있다. 나는 mapreduce로 시작하고 싶습니다. 그리고 mappers와 reducers 등등의 많은 단순화 된 예제가 있습니다. 그러나 나는 뭔가 빠져있는 것을 보았습니다. 하나의 단어에 얼마나 많은 어커런스가 있는지 보여주는 예제는 이해하기 쉽지만 실제로 "실제"문제를 해결하는 데는 도움이되지 않

0열

1답변

Hadoop은 입력으로 폴더 구조를 사용합니다.

저는 초보자로서 Hadoop을 사용하려고합니다. 처음에는 무언가를 놓친 것 같은 일반지도 - 축소 항목을 이해하고 있지만 추측 할 수 있습니다. 기본적으로 hadoop을 사용하여 웹 사이트 (로컬)를 구문 분석하고 그 결과로 링크 구조가 있습니다 (나중에 일부 페이지 순위를 계산할 수 있도록). 따라서 입력 내용은 폴더 구조 (하위 폴더 및 파일 포함)이며

5열

1답변

맵퍼간에 정보를 공유하는 향상된 MapReduce 버전에는 어떤 것이 좋을까요?

Spark 프레임 워크 (http://www.spark-project.org/)의 기능을 향상시키고 있습니다. Spark는 MapReduce를 RAM에서 빠르게 수행하는 UC Berkeley 프로젝트입니다. 스파크는 스칼라에 내장되어 있습니다. 건물의 기능 향상으로 매퍼가 컴퓨팅하는 동안 일부 데이터를 공유 할 수 있습니다. 예를 들어, 각 매퍼가 최적의