Hadoop 책에서는 파일 생성시 파일 단위 블록 크기를 지정할 수 있다고합니다.Hadoop 파일 단위 블록 크기
"분할 크기를 늘리는 가장 자연스러운 방법은 HDFS에서 dfs.block.size를 설정하거나 파일 구성시 파일 단위로 더 큰 블록을 갖는 것입니다."
파일 작성시 어떻게하는지 생각해보십시오.
hadoop fs -D dfs.block.size=file-size -put local_name remote_location
하거나 할 때 당신에게 dfs.block.size을 지정하는 자바 API를 사용할 수 있습니다 내가 값 = 파일 크기에이 설정하여 희망, 파일이
을 분할되지 않습니다
기본적으로 스트리밍 작업 (C++ 코드)이 있으며 단순히 -CoprFromLocal을 사용하여 입력 파일을 HDFS로 복사합니다. 파일 블록 크기를 지정하는 데 사용할 수있는 옵션이 있습니까? HDFS는 파일을 만들 때 블록 크기를 지정하는 API를 제공한다고 생각합니다. FileSystem.create (경로, 덮어 쓰기, 버퍼 크기, 복제, blockSize, 진행). 그러나 아마 나는 이것을 사용할 수 없다. 나는 cli 옵션을 찾고있다. – sunillp