hadoop2

1열

1답변

MySQL에서 HDFS로 데이터 가져 오기 : ClassNotFoundException

Hadoop의 Sqoop을 사용하여 MySQL의 "Employee"데이터베이스에서 "employee"테이블을 가져 오려고합니다. Hadoop 버전 "2.7.1", Sqoop 버전 "1.4.6", JDK 버전 "1.8.0_111", MySQL 버전 "5.7.17"을 사용하고 있습니다. 모든 Hadoop 서비스를 시작했습니다. 하지만 mysql 데이터베이스에서

-1열

1답변

ambari를 통해 AWS에서 단일 노드 Hadoop 및 Spark Client를 설정하는 방법

hortonworks-data-platform을 사용하여 AWS에서 단일 노드 hadoop 클라이언트를 설정하는 방법은 무엇입니까? 그런 다음 간단한 단어 집계 예제를 실행하십시오. 그런 다음 같은 기계를 사용하여 스파크 단어 계산 작업을 실행하십시오.

0열

2답변

Hive에서 중첩 된 Json 구조를 구문 분석하는 방법은 무엇입니까?

나는 hadfs에서 다음과 같은 json을 가졌다. {"result": [{"sys_tags": {"display_value": "d1", "value": "v1"}, "user_input": {"display_value": "d2", "value": "v2"}}, {"sys_tags": {"display_value": "d1", "value": "v1"}

1열

2답변

hadoop/hive에서 epoch time을 PST zone으로 변환

epoch 시간을 pst time zone으로 변환하고 싶습니다. 예를 들어 : 나는 PST로 변환 할 때 1482440069, 나는이 때 나는이 때, 나는 적절한 얻을 SELECT from_utc_timestamp('1970-01-01 07:00:00', 'PST'); 또한 적절한 답변을 얻을 지금 2016년 12월 22일 을 얻어야한다 값 selec

0열

1답변

Hortonworks vs Cloudera 아키텍처 차이점

HortonWorks과 Cloudera의 주된 차이점은 무엇입니까? 나는 그들 모두가 같은 건축물을 따르는 것을 본다.

1열

1답변

동일한 쿼리에서 정적 파티션과 동적 파티션을 모두 가질 수 있습니까? 그렇다면 폴더 생성 방법.

동일한 쿼리에서 정적 파티션과 동적 파티션을 추가 할 수 있습니까? 그렇다면 아래의 데이터에 따라 폴더가 어떻게 생성 될까요? 다른 나라와 국가의 데이터가 있습니다. 우리는 country = "US"에서 정적 파티션을 수행하고 상태에서 동적 파티션을 수행합니다. 폴더 구조가 HDFS에서 어떻게 생성 될까요?

0열

1답변

로컬 캐시 게시물 맵 공간 절약 작업 수행을 줄입니다.

큰 데이터 처리를 위해 Hortonworks 환경을 사용하고 있습니다. Hive/Oozie/Pig 등의 Map Reduce 작업의 일부로 내 로컬 캐시 디렉토리가 채워지는 것을 보았습니다. Jar 파일을 사용하여 모든 맵 축소 실행에 대해 하나의 폴더를 만듭니다. 내가 직접이 폴더를 삭제하면 /하둡/실/지역/usercache/루트/filecache 잘 그것

0열

1답변

HBase에서 float/double/integer 값을 인코딩하는 방법은 무엇입니까?

내가 사용 HBase를 데이터를로드 할 문자열로 모든 열 값을 암호화 한 다음 데이터를 읽는 동안 put.add("columnFamily".getBytes(), new String(columnName).getBytes(), new String(value).getBytes()) 는 이유 때문에 하나의 컬럼의 예외 java.lang.IllegalArgume

0열

1답변

NullPointerException 파일을 HDFS로 찾으려고 할 때

클러스터 시나리오에서 작업하고 있습니다. 내가 HDFS에 하나 개의 파일을 고려하는 경우 코드는 잘 작동하지만, 그들에게 시간 당 하나 개의 파일을 처리하기 위해, 디렉토리에 모든 파일을 나열 할 때 같이가 따라 나는 다음과 같은 오류가 val sc = new SparkContext(conf) val sqlContext = new org.apache.sp

-1열

1답변

하둡은 ./sbin/start-dfs.sh 내가 시작했다

하여야한다 (./sbin/start-dfs.sh) 표준 새 번역 3098 Jps<br> 2492 NameNode<br> 2700 SecondaryNameNode hadoop-를 시작할 수 없습니다 당신이 작업 클러스터에서 네임 노드를 포맷 한 것처럼 2017-02-15 15:55:12,787 WARN org.apache.hadoop.hdfs.serv