dask가 임시 파일에 사용하는 디렉토리를 지정하는 방법은 무엇입니까?

Question

분명히 디스크 기반 셔플 작업 중에/tmp 폴더에 dask를 씁니다. 내가 사용하고있는 시스템에서이 폴더는 일부 계산 한 후 다음과 같은 오류가 발생, 매우 작은 파티션 (30기가바이트)에 장착된다

IOError: [Errno 28] No space left on device 

Traceback  

File "[path_to_anaconda]/lib/python2.7/site-packages/dask/async.py", line 263, in execute_task 
result = _execute_task(task, data) 
File "[path_to_anaconda]/lib/python2.7/site-packages/dask/async.py", line 245, in _execute_task 
return func(*args2) 
File "[path_to_anaconda]/lib/python2.7/site-packages/dask/dataframe/shuffle.py", line 395, in shuffle_group_3 
p.append(d, fsync=True) 
File "[path_to_anaconda]/lib/python2.7/site-packages/partd/encode.py", line 25, in append 
self.partd.append(data, **kwargs) 
File "[path_to_anaconda]/lib/python2.7/site-packages/partd/file.py", line 41, in append 
f.write(v) 

어떻게 DASK는 셔플에 사용하는 폴더를 지정할 수 있습니다? 이 문제를 피하려면 어떻게해야합니까? 관리자 권한이 없기 때문에/tmp를 더 큰 것으로 마운트하는 것은 옵션이 아닙니다.

지금까지/tmp 폴더가 더 커지는 것을 보았습니다. 어느 시점에서 파일을 삭제합니까?

Answer 1

export TMPDIR=/my/path을 통해 TMPDIR 환경 변수를 원하는 위치로 설정하는 것이 효과가있는 것 같습니다.