Pcompress

Pcompress è una utility a riga di comando compressione parallela open source, la decompressione e la deduplicazione, suddividendo i dati di input in blocchi.
Pcompress dispone compressione Delta, opzione blocco fisso, la compressione dei metadati, il supporto per più algoritmi, tra cui LZMA, LZMA-multithread, PPMD, Bzip2 o LZ4, forte l'integrità dei dati, filtri, Matrix trasformare, crittografia, autenticazione dei messaggi, i metadati, l'elaborazione sovrapposti, personalizzato allocator, modalità solido, imbottiture, e molto altro ancora

Cosa c'è di nuovo in questa versione:.

• Si tratta di una major release con l'archiviazione di sostegno basato su libarchive. Tecniche avanzate vengono utilizzati per rilevare i tipi di file e utilizzare algoritmi appropriati per comprimere meglio. Filtri come PackJPG per Jpegs e Dispack per eseguibili vengono utilizzati per migliorare compattezza. Qualche euristiche aiutano rilevare dati già compressi ed evitare passaggi di compressione costose. Voci di archivio sono inoltre ordinati per raggruppare contenuti correlati e ottenere una migliore compressione. Confini dividere i dati per più thread paralleli sono determinate dal tipo di file e le modifiche hash rotolamento. Tecniche mmap e Zero-Copy vengono utilizzati internamente quando possibile per migliorare le prestazioni. Alcune ottimizzazioni hanno fatto anche per ridurre l'utilizzo della memoria. Usage è stata semplificata con la maggior parte delle funzioni automaticamente configurato in base al livello di compressione.
• Con queste modifiche Pcompress può agire come un archiviatore a pieno titolo, come tar o cpio e fornire rapporti di compressione migliore e prestazioni migliori rispetto alla modalità di compressione file singolo. Pcompress confronti con altri importanti programmi di utilità archiver.

Cosa c'è di nuovo nella versione 2.4:

• Questa versione corregge diversi problemi, tra cui alcuni casi angolo crash e un paio di buffer overflow.
• deduplicazione dei dati può essere fatto utilizzando i blocchi di dimensioni fino a 2 KB, fornendo un rapporto di deduplicazione molto superiore a qualsiasi altro software di deduplicazione.
• prestazioni deduplicazione basato somiglianza è stata migliorata.
• precisione di rilevamento di memoria libera è stato migliorato.

Cosa c'è di nuovo nella versione 2.3:

• Questa versione corregge alcuni bug e offre diversi miglioramenti in termini di efficienza e le prestazioni.
• L'efficacia di rilevamento somiglianza per analogia basata quasi esatto deduplicazione è stata migliorata.
• Allo stesso tempo requisiti di memoria per l'indice è stato ridotto.
• Precisione di partizionamento dei dati tra i thread è stato migliorato.
• Chunking e prestazioni di indicizzazione sono stati migliorati e il calcolo KMV Sketch è ora più preciso.
• Questa versione sposta tutte le funzionalità di base in una libreria condivisa in preparazione per una interfaccia API che verranno introdotte nelle versioni future.

Cosa c'è di nuovo nella versione 2.2:.

• Questa è principalmente una release Bugfix
• Si corregge alcuni crash con input non valido e costruire problemi Debian6 e anziani processori non SSE4.
• L'abbinamento somiglianza basata Min-heap per Delta Encoding è stato migliorato e reso più veloce e più preciso.
• Precisione scalabile segmentato Global Deduplication è stato ulteriormente migliorato per essere superiore al 95%.
• sono stati aggiunti altri casi di test.

Cosa c'è di nuovo nella versione 2.1:.

• Questa versione aggiunge bugfixes e miglioramenti delle prestazioni molti
• Precisione nella ricerca di duplicati in globale Dedupe è stata migliorata.
• SHA256 è ora l'algoritmo di hash blocco predefinito per deduplicazione, con la capacità di cambiare separatamente dalla hash verifica blocco.
• In generale, molti miglioramenti delle prestazioni sono stati fatti, con una migliore parallelismo, più SSE vettorizzazione, e più veloce smistamento e migliorare la gestione del segmento file dell'elenco hash, con conseguente minore di I / O e un minor numero di accessi casuali.
• Bugs nel calcolo in-memory size indice è stato corretto per evitare di eccedere RAM e swap su disco.