작업의 입력 데이터 분할이 특정 노드에 할당 된 방식을 수정하는 데 관심이있었습니다. 나는 실제 작업 할당량이 어떻게되는지 알 수는 없지만 JobInprogress 코드를 사용했다. 작업의 입력 분할이 클러스터 노드간에 분산되는 방식은 무엇입니까? 할당을 이해하려면 어떤 Hadoop 파일을 사용해야합니까?
저는 거의 HBase가 처음입니다. MySQL을 기반으로 현재 사이트를 추적하고 MySQL을 단순히 확장하지 않기 때문에 HBase에 배치하려고합니다. 나는 완전히 INT 어 첫 걸음을 잃었어요 ... 나는 다양한 사용자 행동을 추적하고 몇 가지 측면 (날짜별로 집계 할 수 있어야합니다, 국가 그들이 수행, 제품에서 오는 등) ... 내가 현재 저장하는 방
현재 Microsoft SQL Server를 nosql 데이터베이스에 연결하는 방법에 대한 비즈니스 인텔리전스 조사를 수행하고 있습니다. 내 대상은 SQL Server를 기반으로하는 관계형 DWH로 nosql 테이블의 데이터를 가져 오는 것입니다. 나는 다음과 같은 방법을 발견 : 개별 스크립트를 구축 Microsoft Hadoop Connector Had
몇 가지 외부 항아리를 참조하는 일부 mapreduce 작업을 썼습니다. 그래서 작업을 실행하려면 "실행중인"클러스터의 CLASSPATH에 추가했습니다. 일단 실행하려고하면 클래스를 찾을 수 없습니다. 나는 그것을 고치는 방법을 찾았고 변경된 CLASSPATH를 에 적용하기 위해 클러스터를 다시 시작해야한다는 것을 알았고 실제로 작동했습니다. 오, 이런!
몇 가지의 정보 페이지와 논문을 보냈습니다. 슬롯은 노드에서 map/reduce 계산 단위입니다. 지도 또는 축소 슬롯 일 수 있습니다. 지금까지 분할은 HDFS에있는 파일 블록 그룹으로, 길이와 위치가 노드에 저장되어 있습니다. Mapper는 클래스이지만 코드가 인스턴스화되면 맵 태스크라고합니다. 맞습니까? 맵 작업, 데이터 분할 및 매퍼 간의 차이점과
최근에 내가 Mumak의 작업을 (참조, 예를 들어,이 MAPREDUCE-728) 그것은 기본적으로 작업 추적 및 토폴로지의 추적을 받아 하둡을 시뮬레이션 이해하려고 노력했다. 노드간에 스플릿을 할당하는 방법을 이해할 수 없습니다. mumak은 로컬 맵 작업과 로컬이 아닌 작업으로 무엇을 의미합니까?
저는 고객에게 심층적 인 실시간 분석을 제공 할 수있는 완벽한 스케일 아웃 솔루션을 개발 중입니다. 고객은 주로 최대 200 개의 서버를 보유하고 있으며 각각 최대 400 개의 세션이 진행 중이므로 동시에 80000 개의 세션을 제공합니다. 세션에 대한 분석을 제공하고 그래픽 및 쿼리 인터페이스 (기본적으로 쿼리 집계)를 제공하기 위해 Tableau와 같은
ArrayWritable 클래스에있는 클래스에 toArray() 메서드가 있습니다. 의미는 다음과 같습니다. ArrayWritable을 배열로 변환합니다. 그러나 그 문법은 다음과 같습니다. public Object toArray()
이 함수를 어떻게 사용해야합니까? doc 패키지에 관한 문서는 없습니다.
Mahout을 협업 필터링 추천 엔진으로 평가하는 중입니다. 지금까지 그것은 좋아 보인다. 우리는 12M 다른 사용자로부터 약 20M 부울 추천을 받았습니다. Mahout's wiki과 약간의 스레드 Sean Owen에 따르면,이 경우에는 하나의 기계로 충분합니다. 따라서 데이터 모델로 MySql을 사용하고 Hadoop을 사용하는 오버 헤드를 건너 뛰기로
나는 하나 이상의 파일에서 키 데이터를 읽는 것을 포함하는 문제에 대한 해결책을 찾고있다. 단일 맵 단계에서 같은 위치의 특정 키에 대한 모든 값을 동시에 필요로합니다. 나는 White의 책에서 "shuffle"에 대한 토론을 보았고 합병에서 나올 때 감속기에 대한 입력이 키에 따라 정렬되는지, 키에 대한 모든 데이터가 거기에 있는지 궁금해하고 싶습니다.