cloudera

1열

1답변

hadoop, python, 코드 127로 서브 프로세스가 실패했습니다.

mapreduce로 매우 간단한 작업을 실행하려고합니다. mapper.py : #!/usr/bin/env python import sys for line in sys.stdin: print line 내 txt 파일 : hadoop jar /usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-st

1열

1답변

최근 HDFS 사용 통계 (폴더, 파일, 타임 스탬프)는 어디에서 볼 수 있습니까?

나는 지난 10 일 동안 HDFS에서 엄청난 양의 디스크 사용량을보고있었습니다. HDFS 서비스 사용에 대한 Cloudera Manager 및 Disk Usage 차트의 Hosts 탭에있는 DataNode 호스트에서 볼 수 있듯이 ~ 7TB에서 ~ 20TB로 거의 3 배가되었습니다. 처음에 나는 이것에 대한 이유가 내가 업그레이드에서 잘못 했었다고 생각하고

0열

1답변

Livy Rest 요청을 사용하여 제출 된 Spark 단어 개수 작업이 Dead 상태가됩니다.

Livy를 사용하여 Spark 단어 카운트 프로그램을 실행 중입니다. Spark-submit을 사용하여 Livy없이 실행하면됩니다. Livy의 나머지 요청을 사용하여 작업을 제출, 그것은 아래와 같이 작업 ID로 반환 curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar"

0열

1답변

Spark 스칼라 println에는 collect()가 필요합니까?

Spark와 Scala를 시작하기 만하면됩니다. 우리는 dev cloudera hadoop 클러스터에 Spark 2를 설치했으며 spark2-shell을 사용하고 있습니다. 나는 몇 가지 기초를 배우기 위해 책을 다룰 것이다. 그것은 예는 수집을하지 않고 작업에 println (foo는) 보여하지만 그건 나를 위해 작동하지 않습니다 : scala> val

0열

1답변

Solr 색인 성능

Solr 배치 색인 작성과 관련하여 몇 가지 성능 문제가 있습니다. 우리는 32 명의 코어와 256GB RAM을 갖춘 4 명의 작업자로 구성된 클러스터를 가지고 있습니다. YARN은 100 개의 vCore 및 785.05GB의 메모리를 사용하도록 구성됩니다. HDFS 스토리지는 10Gb 인터페이스를 통해 연결된 EMC Isilon 시스템에 의해 관리됩니다.

0열

1답변

AnalysisException : 통합 출력에 의해 생산되지 선택 목록 식 (GROUP BY 절에서 누락?)

나는 임 팔 라 쿼리가 있습니다 select id,zip,income from zipcode_incomes group by income having income>avg(income) 을하지만 난 오류, AnalysisException 무엇입니까 : 통합 출력에 의해 생산되지 선택 목록에 식을 (GROUP BY 절에서 누락 되었습니까?). 어떤 실수

1열

1답변

클라우 데라 매니저와 HDFS-site.xml의

내가 통해 HDFS-site.xml 파일에 액세스 할 수있는 클라우 데라 매니저를 사용 (예를 들어, 네임 노드) 클라우 데라 매니저> 클러스터> HDFS> 인스턴스>> 처리합니다 설정 파일 > HDFS-site.xml의 다음 의 URL 포인트 : http://quickstart.cloudera:7180/cmf/process/8/config?filename

0열

2답변

NoClassDefFoundError joda DateTimeFormat hadoop cloudera에서 aws-kinesis 사용

나는 hadoop (CDH 5.5.1)에서 aws kinesis를 실행하는 이상한 오류가 발생했습니다. 나는이 간단한 클래스와 오류를 재현 할 수 : import com.amazonaws.auth.AWSCredentials; import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.serv

1열

2답변

TIMESTAMP on HIVE 테이블

Oracle에서 하이브로 마루로 데이터를로드하려고합니다. 하이브에 날짜/타임 스탬프 열이있는 테이블을로드 할 때마다이 열이 자동으로 BIGINT로 변환됩니다. sqoop과 쪽매 파일을 사용하여 타임 스탬프/날짜 형식을 하이브에로드 할 수 있습니까? 하이브에 먼저 표를 작성한 다음 임팔라를 사용하여 여기 엔 나무 마루 파일을로드하십시오. BTW, 나는 클라우

0열

3답변

SQOOP - SQL Server에서 SCHEMA를 사용하는 쿼리

sqoop에서 --query 옵션을 사용하여 SQL Server에서 데이터를 가져 오려고합니다. 내 관심사는 SQL Server에서 --query와 함께 사용할 스키마를 어떻게 선언 할 수 있는가입니다. 내 스크립트 : sqoop \ --options-file sqoop/aw_mssql.cfg \ --query "select BusinessEntityI