다음 내가 텍스트 파일에서 URL을 읽고있다 while read url
do
urlstatus=$(curl -o /dev/null --silent --head --write-out '%{http_code}' "${url}" --max-time 5)
echo "$url $urlstatus" >> urlstatus.txt
목표 사용 GNU 병렬로 분할 파일은 어린이에 큰 된 .gz 파일을 분할합니다. 서버에는 16 개의 CPU가 있으므로 16 개의 자식을 만듭니다. 각 어린이는 많아야 N 줄을 포함해야합니다. 여기서, N = 104,214,420 라인. 아이들은 .gz 형식이어야합니다. 입력 파일 이름 : file1.fastq.gz 크기 : 39기가바이트 라인 수 : 1,6
csplit을 사용하여 파일을 자동으로 4 부분으로 나눈 다음 하나의 쉘 프로그램을 작성한 후 nohup을 사용하여 백그라운드에서 동일한 명령을 실행하는 4 개의 쉘 프로그램을 작성하고 루프가 이들 4 개의 프로세스의 완료를 찾은 다음 마지막으로 cat output1.txt를 찾습니다. ... output4.txt> finaloutput.txt 하지만이 명
이 스크립트를 병렬로 실행하려고합니다. 각 세트에서 < = 4입니다. runspr.py은 그 자체로 평행하며 괜찮습니다. 내가 뭘 하려는지 모든 인스턴스에서 단 4 루프를 실행하는 것입니다. 내 현재 코드에서는 모든 것을 실행합니다. #!bin/bash
for i in *
do
if [[ -d $i ]]; then
echo "$i id
나는 10 초 (wget -O - pi.dk/3 || curl pi.dk/3/) | bash
으로 설치하지만, 어떤 이유로, 그것은 개인 설치 않습니다 실행 해요. 나는 williamyeh/ansible : 도미노에서 우분투 14.04 이미지를 실행 중입니다. (apt update -qq & & apt install curl -yq를 미리 설치해야합니다
에서 원격으로 하나의 스크립트를 실행 나는 ./my.nodes이 파일에 그들 중 일부는 내가 (./myscript를 스크립트를 실행 할 수 있습니다 내 ~/스푸핑/설정 일부 호스트를 가지고있다. sh). my.nodes에 나열된 호스트에서. 나는이 사용하는 다음 명령을 수행 할 수 있습니다 :이 명령은 스크립트를 단지 2 노드를 실행합니다 parallel
gnu와 함께 Amazon AWS EC2에서 병렬 작업을 어떻게 병렬로 실행할 수 있습니까? 나는 즉, 이런 식으로 뭔가가 작동하지 않습니다에 로그인하는 개인 키를 포함해야합니다 sh script.sh | parallel --sshlogin [email protected] -i "key.pem"
Debian 8.6 Jessie로 업그레이드 한 후 GNU 병렬 스크립트가 갑자기 --pipe 및 -L 옵션을 사용하여 두 개 이상의 작업에 병렬 처리를 중지했습니다. 상기 명령을 업그레이드하기 전에 는 : cat file_with_1064_lines.txt | parallel -L10 -j5 -k -v --pipe "wc -l" 5 개 공정, 스폰되는 출