실시간 응용 프로그램을위한 Hbase

Question

예측 유지 보수를위한 실시간 응용 프로그램을 만들고 싶습니다. Hbase를 Phoenix와 함께 사용하려고 생각했습니다. Phoenix는 HBase에서 SQL 레이어를 제공합니다.

나는 Hbase이 1 억 개의 행과 ++ 같은 Big Data에 유용하다고 읽었습니다. 하지만 내 응용 프로그램 데이터에는 현재 데이터가 없습니다. Hbase 데이터베이스는 처음에 적은 양의 데이터 만 있으면 어떻게 반응합니까? HBase는 실시간 웹 응용 프로그램을위한 좋은 솔루션입니까?

시스템과 같은 람다 아키텍처가 필요합니다. 일괄 처리 및 스트림 처리의 경우. HDFS의 맨 위에있는 HBase가 OLTP와 OLAP 시스템을 함께 사용할 수 있습니까?

람다 아키텍처에는 배치 및 속도 레이어가 있기 때문에. HDFS에서 HBase 데이터를 일괄 처리에 사용할 수 있으며 결과를 Hbase에 다시 저장할 수 있습니까?

일반적으로 HBase가 분석을 할 수있는 가능성을 갖기 위해 실시간 웹 응용 프로그램을 구축하는 좋은 솔루션인지 알고 싶습니다.

볼륨 :

Answer 1

HBase와는 일반적으로 다음 사항에 따라 선택 수백만 수십억보다 낫다 수천 수백만

특징 : 당신이 거래, 보조 인덱스 및 일부 RDBMS 기능이 필요하지 않습니다

하드웨어 : 지역 서버용 하드웨어가 충분한 지 확인하십시오. 그것은 유지 보수

보다 구체적인

의 좋은 금액을 포함한다 :

그 인해 빠른 임의 읽기 쿼리 웹 응용 프로그램에 가장 적합합니다. 그러나 이것은 아주 좋은 행 키 디자인과 함께 제공됩니다. 여기에는 최종 쿼리를 미리 계획하고 행 키를 디자인하는 과정이 포함됩니다. 시간 기반 데이터가 있고 쿼리가 쿼리에 많이 의존하는 경우 특별한주의가 필요합니다. 즉, 핫 스포팅을 피해야합니다. 일부 정보 here

HBase 필터를 사용하면 다른 열 값을 선택할 수 있지만 선택 항목은 거의 없으며 웹 응용 프로그램의 응답 시간이 보장되지 않을 수 있습니다. 데이터가 설정 한 경우

은 또한, (행) 컬럼의 변수 번호를 가지고, 또한 당신이 당신의 쿼리에서 모든 열을하지 않아도, HBase를 다시

서버 (지역) 장애 조치가 HBase를에서 가능한 최선의 선택 - 그래서 당신의 데이터는 안전 할 것입니다.

배치 및 스트리밍 모두에 사용할 수 있습니다. Ofcourse는 Big Data 스택에서 최상의 스트리밍을 제공합니다. 그러나 이것은 또한 당신의 스트리밍 파이프 라인 (카프카, 스파크 스트리밍이나 폭풍 등)에 달려 있습니다.

Phoenix에 대해 언급 한 바에 따라 HBase의 SQL 뷰를 고수하고 싶다고 가정합니다. 그러나 코어에서 행 키 디자인은 여전히 ​​HBase 성능의 핵심입니다.