I 비 VM 설정에서 하트 비트 및 가상 IP 메커니즘을 사용하여이 설정을 이미 구성했습니다.AWS ec 가상 시스템에서 hadoop 1.0으로 고 가용성을 구성하는 방법
나는 hadoop 1.0.3을 사용하고 네임 노드 메타 데이터 공유를 위해 공유 디렉토리를 사용하고 있습니다. 문제는 amazon 클라우드에서 Linux-ha를 사용하여 높은 가용성을 얻으려는 가상 IP와 같은 것이 없다는 것입니다.
누구든지이 문제를 해결할 수있었습니다. 친절하게 필요한 단계를 알려주시겠습니까?
지금은 hbase에서 Hbase 복제 WAL을 사용하고 있습니다. Hbase는 0.92 이상을 지원합니다.
cloud에서 hadoop 클러스터링을 위해 2.0 릴리스가 안정 될 때까지 기다릴 것입니다.
내가 네트워크 중단의 경우 재 연결을 선택적으로 사용이 개 마스터 서버를 가지고 논리를 추가 클라이언트 측에서 다음을 사용합니다.
이 제품은 서버를 더 많이 설치할 때 권장하지 않는 간단한 2 대의 컴퓨터를 백업하는 데 적합합니다.
희망이 있습니다.
글쎄요, 고 가용성을 위해 Hadoop에는 2 부분이 있습니다. 물론 더 중요한 것은 NameNode입니다. 시작 및 구성 할 수있는 보조/검사 점 NameNode가 있습니다. 이렇게하면 기본 NameNode가 다운 된 경우 HDFS를 계속 실행하는 데 도움이됩니다. 다음은 모든 작업을 실행하는 JobTracker입니다. 10 개월에 걸친 구식 정보에 따르면 JobTracker에 구성 할 수있는 백업이 없기 때문에 상황이 발생하면 올바른 구성으로 새 것을 모니터링하고 시작할 수 있습니다.
아, 나는 그 부분을 얻지 못했습니다. 전에는 일반 old linux/freebsd 머신이 아닌 다른 것으로 구성하려고 시도하지 않았습니다. Hadoop을 위해 Linux-HA가 필요한 이유가 있습니까? 다른 고급 HA 설정없이 일반 오래된 서버에서 실행되도록 설계되었습니다. 적어도 서버/OS 수준. – Drizzt321
글쎄, 내가 hadoop의 상단에 hbase를 사용하고 설치에 대한 높은 가용성이 필요합니다. VMS에 데모 용으로 배포됩니다. –
Hadoop/Hbase의 어떤 부분이 linux-ha가 당신에게 필요한 고 가용성을 제공하지 못합니까? 내장 된 HA 부품을 사용해 보지 않겠습니까? Hadoop은 HA를위한 특정 부분에 대해 어떤면에서 부족합니다. 나는 Hadoop/Hbase에서 현재 부족한 Linux-ha가 무엇인지 궁금합니다. – Drizzt321