DedupeCopy

DedupeCopy è un semplice strumento di copia di file multi-threaded progettato per rafforzare e strutturare la tentacolare file system.
Il caso più comune è l'uso per il backup di dati in un nuovo layout, ignorando i file duplicati.
Altri usi includono:
& Nbsp; 1. Ottenere un file .csv che descrive tutti i file duplicati
& Nbsp; 2. Confrontando diversi file system
& Nbsp; 3. Ristrutturazione gruppi esistenti di file in diversi layout (come ad esempio ordinati per estensione o l'ultima ora di modifica)
Questo strumento è * NON * una sostituzione Robocopy o rsync e non cerca di ricoprire il ruolo quelli gioco.
Come per tutto il codice che cammina un albero di file, si prega di utilizzare con cautela e si aspettano assolutamente alcuna garanzia!
Esempi di comandi:
& Nbsp; Generare un report di file duplicati per un percorso:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes.csv -m manifesto
& Nbsp; Copiare tutti i file * .jpg da più percorsi per una struttura /YYYY_MM/*.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: foto -p D: foto -e jpg -R jpg: mtime -c X: foto
& Nbsp; Copiare tutti i file da due unità a un singolo bersaglio, conservando il percorso per
& Nbsp; tutte le estensioni:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifesto -R *: NO_CHANGE
& Nbsp; Riprendere una corsa interrotta (assumendo "-m manifesto" utilizzato nella prima run):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Users / -r dupes_2.csv -i manifesto -m manifesto
Sequenziale copiare fonti diverse nello stesso obiettivo, non la copia di file duplicati (2 fonti e 1 target):
& Nbsp; & nbsp; & nbsp; 1.) Primo record manifesta per tutti i dispositivi
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; -p dedupe_copy.py \ bersaglio share -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Copia ogni sorgente alla destinazione (specificando --compare così manifesta da
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; altre fonti vengono caricati ma non utilizzati come parte del set di copiare e
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-passeggiata per saltare nuovamente la scansione della sorgente):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source1 share -c \ bersaglio share source1_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-passeggiata
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ source2 share -c \ bersaglio share source2_manifest -i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-walk
Esempio completo:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Supponendo che si inizia con una serie di file disposte come segue:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; alcune foto
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; E si esegue il comando:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: foto -p D: foto -e jpg -R jpg: mtime -c X: foto
Si potrebbe finire con il seguente (photo3.jpg era un vero duplicato):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; foto
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Questo progetto è il bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python