2017-03-26 5 views
0

중복성으로 S3에 대한 증분 일일 백업이 실행 중입니다. 약 37 명.중복 증가 백업이 너무 오래 걸림

처음 한 달 정도 지나면 괜찮 았습니다. 그것은 약 1 시간 만에 끝났다. 그런 다음 작업을 완료하는 데 너무 오래 걸리기 시작했습니다. 현재 입력하면 7 시간 전에 시작된 일일 백업이 실행 중입니다.

나는 첫 번째 백업 후 정리에 두 명령을 실행 해요 :

duplicity --full-if-older-than 1M LOCAL.SOURCE S3.DEST --volsize 666 --verbosity 8 
duplicity remove-older-than 2M S3.DEST 

로그

Temp has 54774476800 available, backup will use approx 907857100. 

그래서 임시 공간이 충분, 좋아. 그럼 이걸로 시작 ...

Copying duplicity-full-signatures.20161107T090303Z.sigtar.gpg to local cache. 
Deleting /tmp/duplicity-ipmrKr-tempdir/mktemp-13tylb-2 
Deleting /tmp/duplicity-ipmrKr-tempdir/mktemp-NanCxQ-3 
[...] 
Copying duplicity-inc.20161110T095624Z.to.20161111T103456Z.manifest.gpg to local cache. 
Deleting /tmp/duplicity-ipmrKr-tempdir/mktemp-VQU2zx-30 
Deleting /tmp/duplicity-ipmrKr-tempdir/mktemp-4Idklo-31 
[...] 

이것은 오늘까지 매일 계속되며, 각 파일에 대해 긴 시간이 걸립니다. 그리고 모든 체인을 나열하면 ...이와 오랜 시간 후

Ignoring incremental Backupset (start_time: Thu Nov 10 09:56:24 2016; needed: Mon Nov 7 09:03:03 2016) 
Ignoring incremental Backupset (start_time: Thu Nov 10 09:56:24 2016; needed: Wed Nov 9 18:09:07 2016) 
Added incremental Backupset (start_time: Thu Nov 10 09:56:24 2016/end_time: Fri Nov 11 10:34:56 2016) 

...

Warning, found incomplete backup sets, probably left from aborted session 
Last full backup date: Sun Mar 12 09:54:00 2017 
Collection Status 
----------------- 
Connecting with backend: BackendWrapper 
Archive dir: /home/user/.cache/duplicity/700b5f90ee4a620e649334f96747bd08 

Found 6 secondary backup chains. 
Secondary chain 1 of 6: 
------------------------- 
Chain start time: Mon Nov 7 09:03:03 2016 
Chain end time: Mon Nov 7 09:03:03 2016 
Number of contained backup sets: 1 
Total number of contained volumes: 2 
Type of backup set:       Time:  Num volumes: 
       Full   Mon Nov 7 09:03:03 2016     2 
------------------------- 
Secondary chain 2 of 6: 
------------------------- 
Chain start time: Wed Nov 9 18:09:07 2016 
Chain end time: Wed Nov 9 18:09:07 2016 
Number of contained backup sets: 1 
Total number of contained volumes: 11 
Type of backup set:       Time:  Num volumes: 
       Full   Wed Nov 9 18:09:07 2016    11 
------------------------- 

Secondary chain 3 of 6: 
------------------------- 
Chain start time: Thu Nov 10 09:56:24 2016 
Chain end time: Sat Dec 10 09:44:31 2016 
Number of contained backup sets: 31 
Total number of contained volumes: 41 
Type of backup set:       Time:  Num volumes: 
       Full   Thu Nov 10 09:56:24 2016    11 
     Incremental   Fri Nov 11 10:34:56 2016     1 
     Incremental   Sat Nov 12 09:59:47 2016     1 
     Incremental   Sun Nov 13 09:57:15 2016     1 
     Incremental   Mon Nov 14 09:48:31 2016     1 
     [...] 

을 계속 :

Also found 0 backup sets not part of any chain, and 1 incomplete backup set. 
These may be deleted by running duplicity with the "cleanup" command. 

이 만 백업 일부였다. 이 작업을 수행하는 데 몇 시간이 걸리고 S3에 37 GiB를 업로드하는 데 불과 10 분이 걸립니다.

ElapsedTime 639.59 (10 minutes 39.59 seconds) 
SourceFiles 288 
SourceFileSize 40370795351 (37.6 GB) 

은 그런 나에게이주는 정리을 제공 :

Cleaning up 
Local and Remote metadata are synchronized, no sync needed. 
Warning, found incomplete backup sets, probably left from aborted session 
Last full backup date: Sun Mar 12 09:54:00 2017 
There are backup set(s) at time(s): 
Tue Jan 10 09:58:05 2017 
Wed Jan 11 09:54:03 2017 
Thu Jan 12 09:56:42 2017 
Fri Jan 13 10:05:05 2017 
Sat Jan 14 10:24:54 2017 
Sun Jan 15 09:49:31 2017 
Mon Jan 16 09:39:41 2017 
Tue Jan 17 09:59:05 2017 
Wed Jan 18 09:59:56 2017 
Thu Jan 19 10:01:51 2017 
Fri Jan 20 09:35:30 2017 
Sat Jan 21 09:53:26 2017 
Sun Jan 22 09:48:57 2017 
Mon Jan 23 09:38:45 2017 
Tue Jan 24 09:54:29 2017 
Which can't be deleted because newer sets depend on them. 
Found old backup chains at the following times: 
Mon Nov 7 09:03:03 2016 
Wed Nov 9 18:09:07 2016 
Sat Dec 10 09:44:31 2016 
Mon Jan 9 10:04:51 2017 
Rerun command with --force option to actually delete. 

답변

0

내가 문제를 발견했다. 때문에 문제, 나는 this answer을 따라 내 스크립트에이 코드를 추가 : 이것은했기 때문에 임의 버그 이중성의 한 번 일 있어야하는데

rm -rf ~/.cache/deja-dup/* 
rm -rf ~/.cache/duplicity/* 

. 그러나 대답은 이것을 언급하지 않았다. 그래서 매일 스크립트는 캐시를 동기화 한 직후 캐시를 제거하고 다음 날에 다시 전체를 다운로드해야했습니다.