Jug

Jug è un'implementazione Python del quadro MapReduce (ora una parte standard di Hadoop ), permettendo agli sviluppatori di scrivere codice che può essere eseguito in diverse forme di parallelizzazione.
Ciò significa che il codice può essere eseguito in parallelo sulla stessa macchina, o attraverso un cluster di calcolo (macchine multiple).
Jug consente agli sviluppatori di organizzare il codice in pezzi più piccoli, e selezionando dove, come e quando eseguirlo.
Anche se questo può essere sopra le righe per i piccoli siti web e applicazioni, questo comportamento può essere molto utile in applicazioni con un alto carico di traffico o che gestiscono grandi quantità di dati.
Jug può lavorare e memorizzare i dati in locale tramite l'hard-drive, oppure può utilizzare l'archiviazione remota. Per il caso in seguito, la Redis del database è supportato

Caratteristiche :.

• l'archiviazione dei dati persistenti Supporto
• riutilizza risultati parziali
• Supporto Concurrency
• la memorizzazione dei dati locali
• archiviazione remota dei dati
• Stato operativo checker

Cosa c'è di nuovo in questa versione:

• correzioni di Python 3 compatibilità
• fsync (directory) in file di backend
• ganci Jug (ancora in gran parte privi di documenti, ma già consente la semplificazione del codice interno)

Cosa c'è di nuovo nella versione 0.9.7:

• uso Fix di sottoclassi NumPy
• Redis Fix URL parsing
• Fix `` shell`` versioni più recenti delle IPython
• correttamente ricadere sulla non-sqlite `` status``

Cosa c'è di nuovo nella versione 0.9.6:

• decodifica Faster
• Aggiunta di script jug-execute
• Aggiunto descrivere () funzione
• Aggiunto write_task_out () funzione

Cosa c'è di nuovo nella versione 0.9.1:

• aggiunta `` webstatus`` sottocomando
• Aggiunto bvalue () funzione
• Corretto errore in `` sottocomando shell`` (`` value`` non era in namespace globale)
• Maggiore identità ()
• Corretto il bug nell'utilizzo Tasklets e --aggressive-scarico
• bug con Tasklets e dormire, finché / controllo

Cosa c'è di nuovo in versione 0.9:

• In presenza di una barriera (), eseguire nuovamente il jugfile . Questo rende ostacolo molto più facile da usare.
• set_jugdir Aggiunto alla API pubblica.
• Aggiunto CompoundTaskGenerator.
• Supporto sottoclassi di attività.
• Evitare la creazione di directory nel file di backend a meno che non sia necessario.
• Aggiungi jug.mapreduce.reduce (che imita il builtin ridurre).

Cosa c'è di nuovo nella versione 0.8.1:

• Redis Fix backend per la nuova versione del modulo client
• archivio file più veloce per file di grandi dimensioni
• Fix `invalidate` con Tasklets
• Installa prove e farli essere eseguibile
• metodo di calcolo hash cambiato. Questo è un caso speciale array NumPy
• (per la velocità) ed è più estensibile attraverso un gancio __jug_hash__
• bug fix con Tasklet non dipendenze essere adeguatamente presi in considerazione
• Fix shell sottocomando in versioni più recenti di ipython
• Aggiungi __file__ attributo falso jugmodule

Cosa c'è di nuovo in versione 0.8:

• Tasklets
• Fix bug nel sonno fino a quando e pulizia
• Fix bug con CompoundTask (bisognava eseguire brocca esecuzione due volte prima).

Cosa c'è di nuovo in versione 0.8-B0:

• Tasklets - Fix bug nel sonno, fino a quando e pulizia .

Cosa c'è di nuovo nella versione 0.7.4:

• caso Fix dove ~ / .jug / configrc fa non esiste.
• Stampa nome host per bloccare file file_store.
• refactoring implementazione di opzioni.
• attività Fix scarico che non hanno eseguito.
• MapReduce Fix per l'ingresso vuoto.

Cosa c'è di nuovo nella versione 0.7.3:.

• Parse ~ / .jug / configrc
• bug fix con tempi di attesa.
• Caso particolare risparmio di array NumPy.
• Aggiungi sintassi jugdir più espressivo.
• Salva dict_store backend su disco.

Cosa c'è di nuovo nella versione 0.7.2:.

• file mancanti inclusi nella distribuzione

Cosa c'è di nuovo nella versione 0.7.1:.

• sonno fino sottocomando
• Fix per barriera () e l'interazione MapReduce.
• miglioramento della documentazione.

Cosa c'è di nuovo in versione 0.7:

• Better `` comando shell``
• metodo Riscritta per caricare jugfiles
• Attività hanno funzione originaria accessibile come `f`

Cosa c'è di nuovo nella versione 0.6.9:.

• Nuovo comando di controllo
• load_all () all'interno della shell.

Cosa c'è di nuovo nella versione 0.5.2:.

• Nuovo comando `shell`
• Compression in Redis backend.
• I miglioramenti nella velocità per 'invalidare' il comando.

Cosa c'è di nuovo nella versione 0.5.1:

• Redis backend
• dipendenze dizionario
• interfaccia a riga di comando Changed (comando brocca jugfile ...)

Requisiti :

• Python 2.6 o superiore