2017-03-07 14 views
1

에서 파이썬 스크립트를 실행 qsub을 사용하여 for 루프를 병렬 처리하십시오. 내가 qsub를 호출하고 main_script.py 가 나는 또한 main_script.py을 적용 할 필요가 있다고 생각 실행되지만 쉘 스크립트를 작성하는 방법을내가 다음과 같습니다 파이썬 스크립트 <code>main_script.py</code>이 qsub를

//mypath//pathfile1 
//mypath//pathfile2 
... 
//mypath//pathfile100 

:

내가 files.txt 포함 된 모든 파일 이름을 TXT 파일이 있다고 가정 나는 작업 스크립트에서 모든 실행 파일을 호출하는 스케줄러가 토크/마우이는 ... 어떻게

+0

어떤 스케줄러를 사용하고 있습니까? 'qsub' 명령은 그것들 중 몇몇에 의해 사용됩니다. – eduffy

+0

Torque/Maui를 사용해야합니다 – gabboshow

+0

개인 플러그인이 하나 : fyrd (https://fyrd.science)를 사용하여 파이썬에서 토크 또는 슬럼 (slurm) 기능을 제출할 수 있습니다. 정확하게 이런 종류의 것을 위해 만들어졌습니다. –

답변

1

한 가지 방법을

을 모르는 것은 단순히 bash는 내부를 래핑하는 것입니다 스크립트 : 당신이 스크립트 script.sh 이름을 지정하고 script.sh 실행 파일 인 경우

#/bin/bash 

<full path to call executable> 

, 당신은 실행할 수 있습니다

qsub script.sh 

과는 배치 시스템에 제출됩니다. 이미 잘 알고있는 문제는 계산 노드에서 실행 파일에 액세스 할 수없는 경우 작업을 실행할 때 찾을 수없는 것입니다. 스크립트가 사용하는 파일에 대해서도 마찬가지이므로 모든 파일이 적절하게 위치하는지, 보통 네트워크로 액세스 할 수있는 파일 시스템인지 확인하십시오.

가기
#!/usr/bin/python 

(즉, 파이썬 시스템에는/usr/bin에 있습니다 더블 체크) 한 후 직접 qsub를 할 수 있습니다 직접 파이썬 스크립트를 제출하고 싶었

, 당신은 추가 할 수 있습니다 귀하의 파이썬 스크립트. 귀하의 경우,

이 방법으로 제출하면 스크립트는 더 이상 네트워크 액세스 가능 위치에 있지 않아도되지만 입력 파일은 계속 수행됩니다.