hdfs

0열

1답변

HDFS 파티션에서 오래된 파일 (예 : 2 시간 이상)을 찾고 싶습니다. "-mmin"이 인식되지 않습니다. 다른 아이디어가 있습니까? 내 코드 : hdfs dfs -find /user/TEST/REP -name "*.log.*" -mmin +120 반환 : 찾을 : 예기치 않은 인수 : 나는 해결책을 발견

0열

1답변

hdfs로 sqoop 가져 오기를 사용하는 동안 Postgres에서 열 유형을 어떻게 바꿀 수 있습니까?

타임 스탬프가없는 타임 스탬프가있는 Postgres 데이터베이스에 열이 있습니다. sqoop을 사용하여 hdfs로 가져 오는 동안 타임 스탬프 (UTC)로 타임 스탬프로 변환하려면 어떻게해야합니까?

0열

1답변

Hadoop HDFS 쓰기 작업 프로그래밍 방식

나는 비슷한 질문을했지만 뒤로 물었다. 그런데 내가 무슨 말을하고 있었는지 알지 못했다. 나는이 질문을 더 자세한 내용과 포인트 쿼리에 게시하고있다. 그래서 namenode와 2 개의 datanodes가있는 hadoop 클러스터를 설정했습니다. 2.9.0을 사용하고 있습니다. hdfs dfs -put "SomeRandomFile"명령을 실행했는데 제대로 작

1열

1답변

Hadoop HDFS compress place in

그래서 hdfs의/var/log/...에있는 로그 파일은 압축되지 않았거나 압축되어있을 수 있습니다. 만약 그들이 .snappy으로 끝나지 않는다면 나는 그것을 압축하고 끝으로 이름을 짓고 싶습니다. 그러나 나는 이것을 데이터 - 지역성으로하고 싶다. 나는 하프 스트리밍 방식을 시도했다. HAD=/usr/lib/hadoop $HAD/bin/hadoop j

7열

1답변

액세스 HDFS - 비행선

를 통해 워크 벤치 나는 그런 https://github.com/big-data-europe/docker-hadoop-spark-workbench을 설치 docker-compose up로를 시작했습니다. 나는 the various urls mentioned in the git readme에 항해하고 모두는 위로있는 것처럼 보인다. 비행선 인터프리터 설정에서

0열

2답변

HDFS는 datanodes 서버를 새 서버로 마이그레이션합니다.

모든 데이터와 구성 요소가 포함 된 hadoop 서버를 새 서버 (새 버전의 redhat)로 마이그레이션하려고합니다. 나는 namenode를 이동하는 방법에 대해 cloudera 사이트의 게시물을 보았습니다. 하지만 데이터 손실없이 모든 datanodes를 이동하는 방법을 모릅니다. 우리는 복제 계수 2를 가지고 있습니다. hdsfs가 새로운 복제본을 생성

0열

1답변

Hadoop의 HDFS API가 상위 디렉토리를 생성하지 못하게하려면 어떻게해야합니까?

하위 디렉토리를 만들 때 상위 디렉토리가 존재하지 않으면 HDFS 명령을 실패하게하고 싶습니다. 내가 HDFS는 던져 강제 할 수있는 방법, 존재를 확인하는 번거로운 부담없이 import java.util.UUID import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileS

0열

1답변

hdfs 데이터 노드가 잠시 동안 다운 된 후 다시 시작하는 경우 로컬 디스크 공간을 회수하지 않음

hadoop 2.9.0으로 POC를 분산 파일 저장 시스템으로 사용하므로 하나의 namenode 및 복제 계수가 2 인 4 개의 데이터 노드 (마스터 포함). 이제 일련의 복사 작업 후 datanode (slave2) 중 하나를 중지하기로 결정했습니다. 그리고 나서 slave2가 여전히 다운되었을 때 hdfs dfs -rm -skipTrash 명령을 사용하

2열

1답변

Cloudera VM의 HDFS에서 하이브 테이블로 데이터로드

Cloudera VM을 사용하는 경우 어떻게 HDFS에서 정보에 액세스 할 수 있습니까? 나는 HDFS에 대한 직접적인 경로가 없다는 것을 알고 있지만 동적으로 액세스하는 방법을 알지 못합니다. 하이브 CLI를 통해 하이브 테이블을 만든 후 나는 HDFS에있는 파일에서 일부 데이터를로드하려고 : load data inpath '/test/student.tx

0열

1답변

HDFS에서 Kudu로 데이터로드

Kudu 테이블에 데이터를로드하려고했지만 이상한 결과가 나타납니다.이 drop table if exists hdfs_datedim; create external table hdfs_datedim (...) row format delimited fields terminated by ',' location '/user/me/DATEDIM'; 하는