hadoop에서 생성 된 파일의 이름 바꾸기 - Spark

Question

쓰기를 통해 HDFS에서 생성 된 파일에는 고유 한 이름 지정 규칙이 있습니다. 사용자 정의 이름으로 변경하려면 스크립트를 통한 옵션이 있습니다. hadoop fs -mv oldname newname

생성 된 파일에 사용자 정의 이름을 제공하기 위해 Spark/Hadoop에서 사용할 수있는 다른 옵션이 있습니까?

Answer 1

Apache Spark은 hdfs에서 파일 시스템 작업을위한 API를 제공하지 않습니다. 그러나 Hadoop 파일 시스템 API를 사용하여 언제든지 HDFS에서 파일의 이름을 바꿀 수 있습니다. Check 사용 가능한 Hadoop 파일 시스템 API에 대한 자세한 내용은 여기를 참조하십시오. 이름을 바꾸려면 다음이 작동합니다.

val conf = new Configuration(); 
val fileSystem = FileSystem.get(conf); 
fileSystem.mkdir(new Path(newhdfs_dirPath)); 
fileSystem.rename(new Path(existinghdfs_dirpath+oldname), new Path(newhdfs_dirPath+newname));