cloudera

0열

1답변

CDH에서 Avro 라이브러리 버전을 확인하는 메커니즘이 있습니까? 나는 Avro 라이브러리가 프로젝트의 종속성에 의존한다는 것을 알고 있지만 라이브러리가 기본적으로 상주하는 Hadoop 클러스터 노드에 위치하는 것으로 나타났습니다. 기본적으로 CDH 배포에 포함 된 avro 버전을 확인하는 방법이 있습니까? Avro를 하이브와 함께 사용하는 경우에도 Av

1열

1답변

spark-hbase 커넥터가 만료 된 티켓 kerberos

CDH 5.8.4 클러스터가 있습니다. 내가 clarnder 스파크 - hbase 커넥터 즉, HBaseContext를 사용하여 HBase에서 데이터를 읽고 쓰는 스파크 스트리밍 응용 프로그램을 실행 중입니다. 응용 프로그램을 시작할 때 spark-submit 스크립트에 주체와 kinit를 제공합니다. 7 일 후에 HBase 컨텍스트와 관련된 티켓 kerb

0열

1답변

스파크 제출이 성공적으로 실행되었지만 oozie를 통해 제출 한 경우 하이브에 연결하지 못했습니다.

CDH 5.9.0, Spark 1.6 및 Scala 2.10.0을 사용하고 있습니다. 필자는 테이블을 만들고 파일에서 하이브로 데이터를로드하는 스칼라 프로그램을 작성했습니다. spark submit을 사용하여 실행하면 완료됩니다. 그러나 같은 프로그램이 oozie를 통해 제출 될 때, 그것은 아래 예외를 던집니다. 다음은 예외입니다. Log Type: st

0열

1답변

Cloudera Hadoop VM 5.10 - HDFS 경로를 찾으십니까?

Cloudera VM을 설치하고 데이터 파일을 HDFS에로드했습니다. "hadoop fs -ls /"명령은 hdfs의 데이터를 확인하는 데 도움이됩니다. 그러나 그것이 거주하고있는 물리적 위치를 알고 싶습니까? 어떤 제안이 도움이 될 것입니다.

1열

1답변

HDFS 손상 파일을 삭제할 수 없습니다.

HDFS에 손상된 파일을 삭제할 수 없습니다. 네임 노드가 안전 모드로 실행되었습니다. 총 블록 수는 980 개이며이 중 978 개가보고되었습니다. 나는 다음과 같은 명령을 실행하면 sudo -u hdfs hdfs dfsadmin -report 보고서는 IS 생성 Safe mode is ON Configured Capacity: 58531520512

1열

1답변

임팔라 - 특정 열이있는 테이블 찾기

임팔라에서는 특정 열 이름이 포함 된 데이터베이스의 테이블을 확인하는 방법이 있습니까? 같은 뭔가 : select tablename, columnname from dbc.columns where databasename = 'mydatabasename' and columnname like '%findthis%' order by tablename 위

1열

1답변

Cloudera - Sqoop codegen 사용자 정의 ORM 클래스 가져 오기시

Cloudera 환경에 처음이기 때문에 Sqoop을 사용하여 RDBMS에서 데이터를 가져 오려고하는데 가져 오는 동안 데이터에 일부 변형을 적용해야합니다. 특히 Hadoop DFS에 저장하기 전에 일부 필드를 암호화해야합니다. 이를 수행하기 위해 수정할 수있는 ORM java 클래스를 생성하는 codegen 명령을 사용하려고합니다. MySQL 데이터베이스에

0열

1답변

cloudera hadoop UI를 사용하여 sqoop incremental 자동화하기

timestamp가 아닌 다른 컬럼 값을 사용하여 sqoop 가져 오기를 자동화하는 방법이 있습니까? 테이블에 하나의 열 (ID)을 사용하려고했습니다. 그러나 그것은 효과가 없었습니다. 아래는 샘플 코드이며 cloudera hadoop UI를 사용하여 자동화하고 있습니다. 마지막 값이 자동으로 업데이트되지 않는 것이 문제입니다. import

0열

1답변

코디네이터를 죽인 후 어떻게 oozie 워크 플로우를 실행할 수 있습니까?

나는 잠시 동안 oozie와 함께 작업 해 왔지만 코디네이터를 죽이고 싶었지만 코디네이터가 시작한 워크 플로우를 죽이고 싶지 않습니다. 왜 그렇게하고 싶습니까? 나는 내 작업이 매 15 분마다 한 번씩 실행되어야하지만 첫 번째 작업은 현재 실행중인 인스턴스에로드되는 기록 데이터와 쌓여있는 나머지 작업으로 인해 3 시간 이상 걸리는 시나리오가 있습니다. 아래

1열

1답변

스트림 세트에서 JDBC 사용자 작업 스케줄링

매일 오전 5시에 매일 오전 실행하도록 JDBC 소비자 작업을 스케줄해야합니다. 오전 5시에 작업을 시작할 때 오전 5시에 작업을 실행할 수 있습니다. 쿼리 간격에 24 시간을 넣으십시오. 하지만 수동으로 시작하지 않고 오전 5시에 시작하도록 첫 번째 인스턴스를 예약해야합니다 (오전 5시에 일어나는 게으름입니다 : P) 이것을 달성 할 수있는 방법이 있습니