hdfs

0열

1답변

저는 Hadoop 2.8.1을 사용 중이며 파일 크기에 대한 몇 가지 문제에 직면 해 있습니다. 명령 hdfs dfs -df -h 인쇄 다음과 같은 결과 : Size Used Available Use% 4.6 T 3.8 T 861.6 G 82% hdfs dfs -du -s -h / 동안 인쇄이 : 599.0 G/ 어떤 문제에 대해 될 수 있을까?

0열

1답변

MapReduce 처리가 로컬 파일 시스템과 어떻게 작동합니까?

입력/출력이 로컬 파일 시스템의 경우 MapReduce 처리는 어떻게 작동합니까? MapReduce 작업 실행이 Hadoop 클러스터에서 비동기 적으로 발생합니까? 그렇다면 어떻게됩니까? 우리는 실제로이 접근법을 사용해야합니까? (가 로컬 시스템이 아닌 클러스터의 효율성이 떨어지는 것 같은 효율성 만의 문제)

0열

1답변

파일의 라인을 통해 반복하고 스파크

에서 각 반복을 통해 기능을 수행 내가 HDFS에 파일이 다음 라인 FILE1라는 : (각 행이 디렉토리 경로입니다) this/is/path1 this/is/path2 this/is/path3 . . . this/is/path1000ormore 나는 스칼라 불꽃이 기능은 다음과 같이 val resultset=sc.hadoopFile(input

1열

1답변

Sqoop의 날짜 형식을 SQL Server에서 증분 가져 오기로 변경하십시오.

TL; DR - Sqoop이 사용하는 날짜 형식을 변경할 수 있습니까? Sqoop (버전 1.4.6)을 사용하여 SQL Server에서 데이터를 가져오고 datetime 열을 my --check-column으로 지정합니다. Sqoop은 yyyy-MM-ddd hh : mm : ss.SSS 형식의 날짜를 사용하여 데이터베이스를 쿼리합니다. 그러나 SQL 서버는

1열

1답변

HDFS 대신 S3을 사용하는 경우 네임 노드가 여전히 필요합니까?

최근에 S3가있는 객체 저장소에 Hadoop 클러스터를 설치하고 모든 데이터 파일을 HDFS 대신 S3에 저장하고 S3 이상으로 SPARK 및 MP를 성공적으로 실행하므로 내 namenode가 여전히 필요한지 궁금합니다. 내 namenode는 S3 이상으로 실행되는 동안 무엇을합니까? 감사.

0열

3답변

Hadoop HDFS를 로컬로 저장하는 방법

Where HDFS stores files locally by default? 질문을 찾았습니다. 내 HDFS는 시스템에 의해 삭제되는/tmp/폴더에 데이터를 저장합니다. 에 HDFS가 파일을 로컬로 저장하는 을 변경하고 싶습니다. 내가 HDFS-default.xml에에서 찾고 있지만 dfs.data.dir 실행 bin/hadoop version Hadoo

2열

1답변

hdfs에서 블록 크기보다 큰 파일 쓰기

HDFS 블록 크기가 128MB 인 200MB의 파일을 HDFS에 쓰려고하는 경우. 200MB에서 150MB를 쓴 후에 쓰기가 실패하면 어떻게됩니까? 작성된 데이터 부분에서 데이터를 읽을 수 있습니까? 같은 파일을 다시 작성하려고하면 어떻게됩니까? 그게 복제물일까요? 실패하기 전에 작성된 150MB의 데이터는 어떻게됩니까? 쓰는 동안 실패하면

0열

1답변

파일에서 백만 줄을 처리하는 데 스칼라 스파크 작업이 얼마나 걸리나요?

나는 여러 파일의 경로가 포함 HDFS에서 파일 1이라는 파일이 있습니다 this/is/path1 this/is/path2 this/is/path3 . . . this/is/path1000000 나는 스칼라에 다음 줄을 실행하여 목록으로이 파일의 모든 라인을 얻을 경우, val lines=Source.fromFile("/my/path/file

0열

1답변

하이브는 주기적으로 증분 데이터를 hdfs의 동일한 테이블 파일에 추가하거나 삽입 할 수 있습니까?

Spark 스트리밍 (Flume exec)에서 매분마다 네트워크 캡쳐 된 데이터를로드하고 IP 주소에 따라 데이터를 집계하고 마지막에 하이브에 저장합니다. IP 주소에 파티션이있는 Hive ORC 테이블을 더 빠르게 만들려면 잘 작동합니다. 유일한 문제는 그것이 "ALTER TABLE ... CONCATENATE;"를 사용하여 여러 개의 IP 주소 (몇 개

0열

1답변

hbase에서 셀 병합을 수행 할 수 있습니까?

비트 올림 된 정수 플래그 또는 합계 열과 같이 덮어 쓰지 않고 점진적으로 업데이트되는 열이 있다고 가정합니다. 기존 셀 : [키 'K1', F1 : 합계 : 100] Upcomming 새로운 셀 : [키 'K1', F1 : 합계 : 200 (예를 들어, 단지 1 개의 버전을 가정) 합계 = 100 + 200 = 300 최종 기록 항복 : [키 'K1',