hadoop

6열

3답변

하나의 시스템에서 HDFS 클라이언트를 사용하여 HDSF 클러스터에서 분산 읽기를 구현할 수 있습니까? 저는 3 개의 데이터 노드 (DN1, DN2, DN3)로 구성된 클러스터로 실험을 수행했습니다. 그런 다음 DN1에있는 클라이언트 프로그램에서 10 개의 독립적 인 파일에서 10 개의 동시 읽기를 실행하며 DN1에서 데이터를 읽는 것으로 나타났습니다. 다

1열

1답변

설치 후 테이블을 만들지 못했습니다. mysql을 메타 스토어로 사용합니다.

MySQL 5.5를 메타 스토어로 사용하여 하이브 0.7.1을 설치했습니다. 간단한 테이블을 만들려고했지만 실패했습니다. 예외가 발생했습니다 com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Cannot add or update a child row: a foreign k

1열

1답변

Resource Manager가 이기종 시스템 전반에서 대규모 워크 플로우를 처리합니다.

분산 컴퓨팅 환경에서 대규모 워크 플로우를 관리 할 수있는 오픈 소스 리소스 관리자를 찾고 있습니다. TORQUE, SLURM, LOADLEVELER에 대한 설문 조사를 수행했습니다. SLURM은 큰 노드를 처리 할 때 TORQUE보다 좋지만 단일 클러스터에서는 수행합니다. 모두 배치 시스템에 사용됩니다. Condor는 그리드 환경에 사용되지만 거칠고 분산

1열

1답변

다른 하둡 노드

에 다른 파일을 추가. 파일을 추가하면 모든 노드에 복제됩니다. 다른 파일을 다른 노드에 배포 할 수있는 방법이 있습니까? 예를 들어 4 개의 파일 A, B, C가 있고 DI가 노드 1에 파일 A와 B를 추가하고 노드 2에 남아 있다고 가정합니다. 이것은 가능한 시나리오? 그렇다면 노드 장애시 어떻게됩니까?

4열

2답변

Amazon EC2에서 실행중인 hadoop 작업 : 다중 노드 클러스터

Amazon EC2 클러스터에서 hadoop mapreduce 작업을 실행해야합니다. 기존 AMI를 사용하여 설정을 시도했습니다. 그러나 마스터와 클라이언트를 시작한 후에 "jps"는 노드를 나열하지 않습니다. 심지어 공개 hadoop AMI를 사용한 후에도 주인과 노예를위한 hadoop 설정을해야합니까? 마스터는 노예의 IP 주소를 어떻게 알 수 있습니까

2열

2답변

ClassNotFoundException, Hadoop의 예제 작업을 실행하는 중

hadoop에서 약간의 작업을 시작했습니다. 설치가 제대로되어 있습니다. 지금은 단일 노드/독립형 클러스터를 수행하고 있습니다. 위에서 언급 한대로 샘플 작업을 실행하려고합니다. 지금까지 프로그램이 올바르게 컴파일되었고, jar가 생성되었으며, manifest가 성공적으로 추가되었습니다. 그러나 내가이 일을하려고 할 때 나는이 오류를 얻는다. Excepti

1열

2답변

Chukwa & Scribe 사이에 더 좋은 점은 무엇입니까?

Hadoop을 사용하고 있지만 로깅을 위해 뭔가가 필요합니다. 그러나 어느 쪽이 더 좋은 시스템인지는 모르겠다. 필 기사 및 추크. 얘들 아 말해 주시겠습니까? 그리고 Hadoop과 쉽게 어울리는 대안이 있다면 알려주세요. 아파치 수로는 클라우 데라가 내장되어 주로에/HDFS의 출력 데이터를 얻을 수 있도록 설계되었습니다 :

1열

1답변

Hadoop 보조 namenode 개념과 관련하여

documnetation (http://hadoop.apache.org/common/docs/r0.20.203.0/hdfs_user_guide.html)에 따라 hadoop0.20.203.0 릴리스 이후에는 secondarynamenode가 더 이상 사용되지 않으며 checkpointnode 및 backupnode. 그러나 클러스터에서 doc (http:/

7열

4답변

오류 하둡에게

[email protected]:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/input /user/haduser/input 11/12/14 14:21:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:54310. Already t

0열

1답변

좋은 소셜 데이터 수집 전략은 무엇입니까?

twitter.com과 같은 데이터 서비스에서 소셜 데이터를 수집하는 경우 데이터 전략은 무엇입니까? 내가 생각할 수있는 것은 다음과 같습니다 (내가 잘못 될 수 있음). 트위터 닷컴과 전체 소방 호스 액세스를 고려해보십시오. 하루 200 백만의 트윗 - 평균 초당 2314tweets = 5.6MB/s의의. 현재 레코드 TPS (초당 트윗) : 7000.