hdfs

0열

1답변

SpatialHadoop을 사용하여 8,700 만 포인트의 데이터 세트를 저장하고 색인을 생성합니다. 그런 다음 다양한 범위 쿼리를 적용합니다. 3 개의 다른 클러스터 구성 (1, 2 및 4 노드)에서 테스트되었습니다. 불행히도 노드 수가 증가함에 따라 런타임이 줄어들지 않습니다. 수평 왜곡 효과가없는 이유는 무엇입니까?

1열

1답변

DataNode 디렉토리를 제거 할 때의 HDFS 동작

각 노드에 다음 HDFS 마운팅 포인트가있는 3 개의 노드가 포함 된 Hadoop 클러스터 (HDP 2.6)를 설정했습니다. /dev/mapper/centos-home /home xfs defaults 0 0 ... # Here the HDFS Partitions: /dev/sdb /mnt/datadisk1 xfs defaults

0열

2답변

hdfs에서 스파크 스트리밍을 사용하여 큰 xml을 사용하십시오.

저는 에서 레코드의 spark-streaming-디렉토리에 있습니다. 문제는 내 기록이 크고 (한 줄짜리); 그들은 1G 크기에 가깝습니다. val xmlStream = ssc.textFileStream(monitoredDirectory).map { ("",_) } 을하지만 불꽃이 더 병렬로 처리를 위해 내 파일을 분할 : 내가 할. Xml은 분할 불가

0열

2답변

hadoop dfs -ls는 로컬 파일 시스템에없는 폴더 목록을 제공합니다.

방금 랩톱에 독립 실행 형 클러스터를 설치했습니다. 터미널에서 hdfs dfs -ls 명령을 실행하면 폴더 목록을 볼 수 있습니다. 파일 탐색기 창을 통해 로컬 파일 시스템을 검색 할 때 파일 시스템에서 해당 파일을 찾을 수 없습니다. [email protected]:/$ hdfs dfs -ls Found 1 items drwxr-xr-x - ris

0열

1답변

스파크 로그에서 데이터 계보를 얻으려면

스파크 프로그램의 스파크 로그에서 데이터 계보 정보를 얻는 방법을 모색 중입니다. kafka 주제 나 Tables Spark 프로그램에서 읽거나 쓰는 정보와 같이 정보 실행 시간을 확보하고 데이터 이동 흐름을 종결 지을 수 있도록 정보를 찾고 있습니다. 누구나 그러한 틀을 탐구 해왔는가? 정보 로그 수준을 설정할 때 데이터가 기록되는 입력 kafka 읽기

1열

1답변

조인이 포함 된 테이블에서 증분 Sqoop을 수행 하시겠습니까?

원본 시스템 데이터웨어 하우스에서 HDFS로 배치하려고하는 매우 큰 테이블이 있지만 한정된 대역폭을 사용합니다. 필자가 필요로하는 컬럼을 끌어오고 테이블을 가져 오는 런타임을 최소화하고 싶습니다.는 Sqoop을 현재 같은 것을 가져옵니다 : SELECT ColumnA, ColumnB, .... ColumnN FROM

0열

1답변

HDFS 삭제 코딩 파일 생성

아파치 HDFS에서 파일 (예 : copyFromLocal 사용)을 만들고 프로세스에서 삭제 코딩 정책을 설정하는 방법을 찾고 있습니다. this page에 따르면 hdfs ec --setPolicy -path <folder> -policy RS-6-3-1024k을 사용하여 디렉토리 및 해당 하위에 대한 정책을 설정할 수 있습니다. 부모의 정책에 관계없이

0열

1답변

웹 인터페이스를 통해 HDFS 디렉토리를 삭제할 수 없습니다.

http://localhost:50070/explorer.html에서 웹 인터페이스를 사용하여 로컬 HDFS 시스템에서 deepnlptest/models 디렉토리를 삭제하려고합니다. 내 사용자 이름은 wmcneill이고 삭제하려고하는 HDFS 디렉토리의 권한과 그 중 하나는 wmcneill이 소유 한 drwxr-xr-x입니다. $ hdfs dfs -ls d

-1열

1답변

PySpark에서 HDFS의 * .XLSX 파일 읽기

PySpark에서 HDFS의 xlsx 파일을 읽는 방법은 무엇입니까? 한 가지 방법은 CSV 파일로 변환하는 것이지만 파일이 많아서 다른 방법을 찾고 있습니다.

1열

1답변

"들어오는 문"으로 Kafka가있는 DWH 환경에 일괄 오프라인 데이터로드

내 질문에 대한 몇 가지 상황. 당신은 여기에서 볼 수 있듯이 : 예를 들어이 토폴로지를 사용하여 HDFS Sqoop을 카프카 로 데이터를로드하기 위해 2 "문"이 있습니다 https://medium.com/airbnb-engineering/data-infrastructure-at-airbnb-8adfb34f169c , FTP 서버 정보 HDFS에서 호스팅