Pyspark 무작위로 다음과 같은 S3 내 word2vec 모델을 작성

Question

tos3 작성 실패

model.save(sc, "s3://output/folder") 

나는 보통 문제없이 그것을하지 않는다, 그래서 AWS 자격 증명 문제,하지만 무작위로 다음과 같은 오류가 발생합니다.

17/01/30 20시 35분 21초 것은 ConfigurationUtils을 WARN : 적절한 권한이있는 임시 디렉토리를 만들 수 없습니다 :/mnt2/S3 java.nio.file.AccessDeniedException : sun.nio.fs.에서/mnt2 UnixException.translateToIOException (UnixException.java:84) at sun.nio.fs.UnixException.rethrowAsIOException (UnixException.java:102) at sun.nio.fs.UnixException.rethrowAsIOException (UnixException.java:107) at sun. nio.fs.UnixFileSystemProvider.createDirectory (UnixFileSystemProvider.java:384) java.nio.file.Files.createDirectory (File.java:674)의 의 java.nio.file.Files.createAndCheckIsDirectory (Files.java:781) java.nio.file.Files.createDirectories (Files.java:767) at com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths (ConfigurationUtils.java:216) at com.amazon. ws.emr.hadoop.fs.s3n.S3NativeFileSystem.initialize (S3NativeFileSystem.java:447) at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize (EmrFileSystem.java:111) at org.apache. hadoop.fs.FileSystem.createFileSystem (FileSystem.java:2717) at org.apache.hadoop.fs.FileSystem.access $ 200 (FileSystem.java:93) at org.apache.hadoop.fs.FileSystem $ Cache.getInternal (FileSystem.java:2751) at org.apache.hadoop.fs.FileSystem $ Cache.get (FileSystem.java:2733) at org.apache.hadoop.fs.FileSystem.get (FileSystem.java:377) 에이 org.apache.hadoop.fs.Path.getFileSystem (Path.java:295) at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter. (FileOutputCommitter.java:113) at org.apache.hadoop. (ParquetOutputCommitter.java : 41) at org.apache.parquet.hadoop.ParquetOutputFormat.getOutputCommitter (ParquetOutputFormat. java : 339)

다양한 클러스터에서 시도했지만 해결하지 못했습니다. 이것은 pyspark의 알려진 문제점입니까?

Answer 1

이것은 아마도 SPARK-19247과 관련이 있습니다. 현재 (Spark 2.1.0) ML 작성자는 모든 데이터를 단일 파티션으로 다시 분할하므로 대형 모델의 경우 오류가 발생할 수 있습니다. 이것이 실제로 문제의 원인 일 경우 code from the corresponding PR을 사용하여 수동으로 배포판을 패치 할 수 있습니다.