2013-07-04 3 views
1

하이브에 분석 함수를 작성할 수 있다는 것을 보여주었습니다.아파치 하이브와 애 스터 데이터의 차이점은 무엇입니까?

예 : 단어 수의 경우 하이브에도 쓸 수 있습니다. 차이점은 Aster 데이터에서는 이미 내장되어 있지만 하이브에서는 작성해야한다는 것입니다.

차이점은 무엇입니까? 왜 가야 하죠?

+0

SQL-H를 사용하고 있습니까? Aster가 Hadoop 노드로 작업합니까? 아니면 애 스터와 하이브를 독립적으로 비교합니까? – topchef

+0

나는 Aster에 SQL-H가 있다는 것을 알고있다. 그게 하이브가 똑같은 단어 문제를 해결할 수있는 무엇인가를 발견 한 것입니다. 하이브는 최소한 기본적인 분석 기능을 모두 쓸 수 있습니까? – DrewRose

+0

Aster와 Hive의 차이점을 알고 싶습니다. Hive가 Aster와 같은 분석 기능을 수행 할 수 있다면? – DrewRose

답변

0

이론상으로, 하이브는 기능 Java 코드와 map-reduce 프레임 워크 모두와 동일한 기능을 수행 할 수 있어야합니다. 나는 Hadoop/Hive 사용자는 아니지만 Hive는 Hadoop 위에있는 계층이며 Hive가 수행하는 모든 항목 (Java로 작성된 분석 확장 포함)은 Hadoop 작업으로 변환됩니다. 하이브가 지시 한 질문에 어떻게/어떻게해야하는지 물어볼 수 있습니다.

반대로, Aster SQL/MR은 Aster 데이터베이스에 기본입니다. 네이티브는 Aster SQL/MR 프레임 워크의 일부로 각 Aster 노드 내에서 Java가 실행된다는 것을 의미합니다.이 프레임 워크는 Aster 데이터베이스 엔진의 필수 부분입니다. 모든 데이터 조작은 데이터 모델, 데이터 분배 키 등과 일치합니다. Aster에서는 SQL/MR 기능 (Java 기반 포함)을 사용하면서 사용자는 SQL과 데이터 모델의 전제를 절대 사용하지 않습니다. 동시에 SQL/MR은 Aster SQL 내에서 임의의 모델에 적용되는 테이블 정의에 다형성을가집니다. Hive에서 이것이 어떻게 작동하는지 조사하고 싶을 것입니다.

또 다른 중요한 점은 Aster가 고급 분석 기능을 풍부하게 제공하여 사용자 정의 Java SQL/MR 작성이 필요하지 않을 수 있다는 것입니다. 따라서 단어 계산 예제는 nGram 함수와 집계 SQL을 사용하여 실행될 수 있습니다.

+0

그런 분석 기능은 이론적으로 하이브에서 할 수 있지만 애 스터를 사용하는 것처럼 쉽지는 않습니까? – DrewRose

+0

쉬운 상대이며 나는 Hive/Hadoop과 비교하고 싶지 않습니다. 저는 매우 제한된 지식이 있습니다. 가장 좋은 방법은 Hive/Hadoop과 Aster를 나란히 배치하고 두 가지 모두에서 간단한 기능을 프로토 타이핑하는 것입니다. 확실한 대답을 드려 죄송합니다. – topchef

+0

오 OK. 문제 없어. 도와 줘서 고마워. :) – DrewRose

1

Teradata Aster 발견 플랫폼과 Hadoop/Hive에서 분석 기능을 개발하고 실행하는 데 걸리는 시간을 비교하는 연구 조사를 기반으로 한 훌륭한 조사 연구가 있습니다. 시스템은 각 시스템에 적합한 워크로드를 보여주기 위해 나란히 실행되었습니다. 분석가의 "삶의 날"과 필요한 시간/노력의 좋은 예가 있습니다 (공개 : 2 년 전에 Aster Data를 인수 한 Teradata에서 일하고 있습니다) http://www.asterdata.com/resources/assets/ESG-Lab-Validation-Teradata-Aster-MapReduce-Platform.pdf