S3QL

S3QL supporta Amazon S3 e server SFTP arbitrari ed efficacemente fornisce un disco rigido di dinamico, capacità infinita che si può accedere da qualsiasi computer con accesso ad internet.
S3QL fornisce uno standard, piena funzionalità di file system UNIX concettualmente indistinguibile da qualsiasi file system locale. Inoltre, S3QL ha caratteristiche aggiuntive come la compressione, la crittografia, de-duplicazione dei dati, alberi immutabili e snapshot che lo rendono particolarmente adatto per il backup on-line e archiviazione.
S3QL è stato progettato per favorire la semplicità e l'eleganza su prestazioni e funzionalità di scorrimento. Cura è stata presa per rendere il codice sorgente leggibile e utile possibile. Il rilevamento degli errori Solid e la gestione degli errori sono stati inclusi dalla prima riga, e S3QL viene con ampi casi di test automatizzati per tutte le sue componenti.
Prima che un file system può essere montato, il backend che conterrà i dati deve essere inizializzato. Questo viene fatto con il comando mkfs.s3ql. Qui stiamo usando il backend di Amazon S3, e nikratio-s3ql secchio è il secchio S3 in cui verrà memorizzato il file system.
mkfs.s3ql s3: // nikratio-s3ql-bucket
Per montare il file system S3QL memorizzato nel secchio nikratio_s3ql_bucket S3 nella directory / mnt / s3ql, digitare:
mount.s3ql s3: // nikratio-s3ql secchio / mnt / s3ql
Ora è possibile indicare il programma di backup preferito per eseguire un backup nella directory / mnt / s3ql ei dati saranno conservati una Amazon S3. Al termine, il file system deve essere smontato con
umount.s3ql / mnt / s3ql

Caratteristiche :

• Trasparenza. Concettualmente, S3QL è indistinguibile da un file system locale. Ad esempio, supporta collegamenti fisici, i collegamenti simbolici, le autorizzazioni complete unix, attributi estesi e file di dimensioni fino a 2 TB.
• Dinamico Size. La dimensione di un file system S3QL cresce e si restringe in modo dinamico, come richiesto.
• Compression. Prima di archiviazione, tutti i dati possono compressi con LZMA, BZIP2 o algoritmo LZ.
• Crittografia. Dopo la compressione (ma prima di upload), tutti i dati possono AES criptato con una chiave a 256 bit. Un ulteriore checksum SHA256 HMAC è utilizzato per proteggere i dati da manipolazioni.
• Dati De-duplicazione. Se diversi file hanno contenuto identico, i dati ridondanti vengono memorizzate solo una volta. Questo funziona in tutti i file memorizzati nel file system, e anche se solo alcune parti dei file sono identiche, mentre altre parti sono diverse.
• Alberi immutabili. Alberi directory possono essere fatte immutabile, in modo che il loro contenuto non possono più essere modificati in qualsiasi modo. Questo può essere utilizzato per garantire che i backup non possono essere modificati dopo che sono state effettuate.
• Copy-on-Write / snapshot. S3QL può replicare interi alberi di directory senza utilizzare spazio storage aggiuntivo. Solo se una delle copie viene modificata, la parte dei dati che è stato modificato occuperanno ulteriore spazio. Questo può essere usato per creare istantanee intelligenti che preservano lo stato di una directory in diversi punti nel tempo utilizzando una quantità minima di spazio.
• High Performance indipendente di latenza di rete. Tutte le operazioni che non scrivono o leggono il contenuto dei file (come la creazione di directory o spostare, rinominare e modificare i permessi di file e directory) sono molto veloci perché sono eseguiti senza operazioni di rete.
• S3QL realizza questo salvando l'intera struttura di file e directory in un database. Questo database viene memorizzato nella cache locale e la copia remota aggiornato in modo asincrono.
• Supporto per connessioni a banda. S3QL divide il contenuto dei file in blocchi più piccoli e le cache blocchi a livello locale. Questo riduce al minimo sia il numero di transazioni di rete necessarie per leggere e scrivere dati, e la quantità di dati che deve essere trasferito quando solo parti di un file vengono letti o scritti.

Cosa c'è di nuovo in questa versione:

• Tenta di aggiornare un filesystem che è già l'ultima revisione non rendono i metadati locali copia inutilizzabile.
• nomi secchio di archiviazione di Google contengono punti non causano più problemi con la convalida dei certificati SSL.
• Risolto un crash quando statvfs () viene chiamato su un file system quasi vuota.
• Vi è un nuovo & quot; Swiftks & quot; backend per OpenStack / server Swift.
• elimina una condizione di competizione che potrebbe portare a mount.s3ql schiantarsi con un & quot; KeyError in collezioni / abc.py & quot;.
• Risolto un crash che poteva verificarsi quando si cerca di ripulire dopo aver ricevuto un errore di connessione o del server durante il caricamento di un oggetto.

Cosa c'è di nuovo nella versione 2.2:

• S3QL ora utilizza le connessioni SSL per impostazione predefinita e verifica dei certificati server.
• Una condizione di competizione che ha provocato una perdita apparente di metadati a distanza è stato fissato.
• Il backend S3 ora elimina più oggetti di storage utilizzando una sola richiesta, se possibile, riducendo la latenza, il traffico e il numero di richieste di S3.
• S3QL è ora in grado di rilevare gli errori e reindirizzamenti del server prima che tutti i dati sono stati inviati al server.
• È stato aggiunto un nuovo backend 'Rackspace' che consente di specificare la regione di stoccaggio oggetto nella URL di archiviazione.
• L'opzione --compress mount.s3ql consente ora specificazione del livello di compressione.

Cosa c'è di nuovo in versione 1.15:

• Ciclismo di backup dei metadati quando si utilizza il backend locale ora vuole molto meno tempo.
• Non è più richiesto che S3QL e Python APSW essere collegati alla libreria condivisa stesso SQLite.
• In mount.s3ql, un crash quando si utilizzano --metadata-upload-intervallo 0 è stato fissato.
• Invece di smontare completamente il file system (e lasciando il punto di montaggio inaccessibili) quando i dati back-end è mancante o danneggiato, S3QL ora restituisce un errore e passa alla lettura unica operazione.

Cosa c'è di nuovo in versione 1.13:

• Questa versione corregge un bug che causava metadati malformato da scrivere quando si utilizza recenti versioni EGLIBC.
• Si risolve i problemi quando si cerca di accedere a una directory alla radice del filesystem che è stato recentemente rimosso con s3qlrm.
• supporto apparente ACL è stato rimosso.
• Questa versione migliore maniglie secchi con nomi DNS valido.
• Si riprovare se DNS non è disponibile.

Cosa c'è di nuovo in versione 1.11.1:

• Questa versione corregge un crash quando si utilizza il backend S3 (regressione introdotta nella versione 1.11), aumenta il minimo riportato dimensione del filesystem a 1 TB, e lavora attorno a un bug df così formato è riportato correttamente.

Cosa c'è di nuovo in versione 1.11:

• metadati sugli oggetti archiviati è ora divisa in più campi, così nessun campo è più lungo di 256 byte. (Questo rende S3QL compatibile con una vasta gamma di fornitori di storage.) Il backend SWIFT ora ritenta se riceve 5xx codici di errore dal server remoto, e non fallisce più quando si tenta di caricare i dati con un token di autenticazione scaduto.

Cosa c'è di nuovo in versione 1.10:

• I S3S, s3cs, e backend GSS sono stati rimossi. Utilizzare la nuova opzione --ssl con S3, S3c, e GS backend invece.
• S3QL non tiene traccia delle garanzie di coerenza per i diversi backend.
• Il numero crescente di diversi fornitori di storage che offre diverse regioni, la ridondanza, e livelli di disponibilità fa questo non è più fattibile.
• La Guida dell'utente contiene una nuova sezione, & quot; regole importanti per evitare di perdere dati & quot;.
• La lettura è fortemente raccomandato.

Cosa c'è di nuovo in versione 1.9:

• Questa versione rende i tempi di file non cambiano più quando si cambia il sistema fuso orario, correzioni e migliora contrib / benchmark.p, fissa le & quot; Troppi reindirizzamenti & quot incatenati; bug, riprova a errori del server 5xx, e aggiunge il supporto nativo per i server sperimentale OpenStack / SWIFT e supporto proxy sperimentale.

Cosa c'è di nuovo in versione 1.8:

• A & quot; ValueError: Impossibile scaricare i valori NULL & quot; crash quando metadati del file system è stato caricato durante l'attività di file system pesante è stato risolto.
• s3qlcp e elenco di directory prestazioni per molto grandi directory sono stati migliorati.
• Una regressione prestazioni rm è stato fissato.
• -. Blocksize stato rinominato in --max-obj-size
• Alcuni incidenti accaduti in condizioni di utilizzo del file system pesantemente concorrenti sono stati fissati.
• python-llfuse 0.37 è ora utilizzato.

Limitazioni :

• Ci sono ancora un sacco di bug nel codice e si dovrebbe essere pronti ad affrontare il loro. Tuttavia, si può essere ragionevolmente certi che i bug (anche se scomodo) non mettere in pericolo i vostri dati memorizzati.