더 많은 코어를 사용 스파크 (Sparklyr) 오류가 나는 로컬 모드에서 Sparklyr에 다음과 같은 구성을 사용하고

를 엽니이 잘 작동더 많은 코어를 사용 스파크 (Sparklyr) 오류가 나는 로컬 모드에서 Sparklyr에 다음과 같은 구성을 사용하고

conf <- spark_config() 
conf$`sparklyr.cores.local` <- 28 
conf$`sparklyr.shell.driver-memory` <- "1000G" 
conf$spark.memory.fraction <- 0.9 

sc <- spark_connect(master = "local", 
       version = "2.1.1", 
       config = conf)

나는 spark_read_csv를 사용하여 CSV 읽을 때. 나는 그런

conf <- spark_config() 
conf$`sparklyr.cores.local` <- 30 
conf$`sparklyr.shell.driver-memory` <- "1000G" 
conf$spark.memory.fraction <- 0.9

나는 다음과 같은 오류 먹을수록 더 많은 코어를 사용하는 경우에는 :

Blockquote Error in value[3L] : Failed to fetch data: org.apache.spark.SparkException: Job aborted due to stage failure: Task 10 in stage 3.0 failed 1 times, most recent failure: Lost task 10.0 in stage 3.0 (TID 132, localhost, executor driver): java.io.FileNotFoundException: /tmp/blockmgr-9ded7dfb-20b8- 4c72-8a6f-2db12ba884fb/1f/temp_shuffle_e69d56ba-80b4-499f-a91f- 0ae63fe4553f (Too many open files) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(FileOutputStream.java:270) at java.io.FileOutputStream.(FileOutputStream.java:213) at org.apache.spark.storage.DiskBlockObjectWriter.initialize(DiskBlockObjectWriter.scala:102) at org.apache.spark.storage.DiskBlockObjectWriter.open(DiskBlockObjectWriter.scala:115) at org.apache.spark.storage.DiskBlockObjectWriter.write(DiskBlockObjectWriter.scala:235) at org.apache.spark.shuffle.sort.BypassMergeSortShuffleWriter.write(BypassMergeSortShuffleWriter.java:152) at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMa

내가 (소프트 및 하드 모두) 1,040에서 419,430에 ulimit를 증가하고이 차이를하지 않았다.

내 VM에는 128 코어와 2T 메모리가 있으며 모든 것을 사용할 수 있기를 원합니다.

제안 사항?

출처

2017-10-19 Levi Brackman