HPC의 스크래치 공간/파일 시스템이란 무엇입니까?

Question

HPC 응용 프로그램 및 병렬 파일 시스템에 대해 공부하고 있습니다. 나는 스크래치 공간과 스크래치 파일 시스템이라는 용어를 발견했다.

이 스크래치 공간이있는 곳을 시각화 할 수 없습니다. 마운트 노드는 파일 시스템/스크래치 또는 주 기억 장치 공간으로 계산 노드에 있습니까?

내용은 무엇입니까?

각 계산 노드에서 스크래치 공간이 독립적인지 또는 두 개 이상의 노드가 단일 스크래치 공간을 공유 할 수 있는지 여부.

그럼 내가 병렬로 처리하고자하는 파일 123.txt가 있다고 가정 해 보겠습니다. 스크래치 공간에이 파일의 일부가 포함될 것인지 아니면 전체 파일이 복사됩니까?

혼란스럽고 Google에 아무 것도 명확한 설명이 없습니다. 지적 해주십시오.

고마워요.

Answer 1

모두 클러스터 설정 방법과 사용자 요구 사항에 따라 다릅니다. 클러스터에 대한 액세스 권한이 주어지면 대부분의 질문에 대답해야하는 용도에 대한 정보도 제공해야합니다.

NFS에서 작업하는 클러스터 중 하나에서 장기간 저장에 사용되며 Lustre 공간을 작업 스크래치 공간에 사용할 수 있습니다. NFS와 Lustre는 모두 모든 노드에서 볼 수 있습니다. 각 노드에는 해당 노드 만 볼 수있는 일부 스크래치 공간이 노드에 있습니다.

123.txt를 병렬로 작업하려면 123.txt를 공유 스크래치 공간 (Lustre)에 복사하거나 작업 파일의 각 노드 스크래치 공백에 복사 할 수 있습니다.

for i in `cat $PBS_NODEFILE | sort -u ` ; do scp 123.txt $i:/scratch ; done 

각 노드에 복사본이 있으면 작업을 실행할 수 있습니다. 일단 작업이 완료되면 클러스터는 스크래치 공간을 정리하기위한 스크립트를 자주 실행하므로 결과를 영구 저장소에 복사해야합니다.

Answer 2

스크래치 공간이나 스크래치 파일 시스템을 생각하거나 전개하는 데는 여러 가지 다른 방법이 있습니다.

리눅스 노드의 클러스터가 있고이 노드 모두에 하드 디스크가 있다고 가정 해 보겠습니다. 각 노드에 로컬 인/스크래치 공간을 상상할 수 있습니다. OS 이미지가 상대적으로 작아지고 요즘에는 테라 바이트 드라이브보다 작은 크기의 제품을 조달 할 수 없기 때문에 노드를 사용할 수있는 테라 바이트의 저장 공간에 가까워집니다.

이 노드 로컬 저장소로 무엇을 할 것입니까? 오, 많은 것들. 확장 가능한 검사 점 - 다시 시작합니다. 로컬에서의 아웃 오브 코어 동작.

처음 클러스터를 가지고 노는 것을 시작했을 때,이 모든 사용되지 않은 공간을 병렬 파일 시스템으로 묶는 것이 좋은 생각이었습니다. PVFS는 그 목적을 위해 정말 잘 작동했습니다.

모든 노드에서 사용할 수있는/스크래치 병렬 파일 시스템을 구성 할 수 있습니다. 여기에는 기술 구성 요소 (병렬 파일 시스템이 사이트를 배포합니까?)가 있지만 정책 구성 요소가 있습니다.이 파일 시스템의 데이터 보존 기간은 얼마나됩니까? 백업 된거야?/scratch는 종종 파일이 백업되지 않고 실제로 액세스하지 않는 기간 (일반적으로 2 주) 후에 제거된다는 것을 의미합니다.