MDP

MDP (toolkit modulare per Data Processing) è una libreria di diffusi algoritmi di elaborazione dei dati che possono essere combinati secondo una analogia con pipeline per costruire più complessi software di elaborazione dei dati.
Dal punto di vista dell'utente, MDP è costituito da un insieme di algoritmi supervisionati e non supervisionati di apprendimento, e altri dati Processing Units (nodi) che possono essere combinati in sequenze di trattamento dei dati (flussi) e più complesse architetture di rete feed-forward. Dato un insieme di dati di input, MDP si occupa della successione formazione o eseguire tutti i nodi nella rete. Questo consente all'utente di specificare algoritmi complessi come una serie di semplici fasi di elaborazione dati in modo naturale.
La base di algoritmi disponibili è in continuo aumento e comprende, per citare solo i più comuni, Principal Component Analysis (PCA e NIPALS), diversi algoritmi Independent Component Analysis (Cubica, FastICA, TDSEP, JADE, e XSFA), Analisi Caratteristica Lenta, gaussiana Classificatori, limitato Boltzmann macchina, e localmente lineare Embedding.
Particolare attenzione è stata presa per fare calcoli efficienti in termini di velocità e di memoria. Per ridurre i requisiti di memoria, è possibile eseguire l'apprendimento utilizzando lotti di dati, e di definire i parametri interni dei nodi siano singola precisione, il che rende l'utilizzo di insiemi di dati molto grande possibile. Inoltre, il sottopacchetto 'parallelo' offre un'applicazione parallela dei nodi di base e dei flussi.
Dal punto di vista dello sviluppatore, MDP è un framework che rende l'implementazione di nuovi algoritmi di apprendimento supervisionato e non supervisionato facile e diretto. La classe base, 'nodo', si occupa di compiti noiosi come il tipo numerico e controllo dimensionalità, lasciando lo sviluppatore libero di concentrarsi sulla realizzazione delle fasi di apprendimento e di esecuzione. A causa della interfaccia comune, il nodo quindi integra automaticamente con il resto della biblioteca e può essere utilizzato in una rete con altri nodi. Un nodo può avere più fasi di formazione e anche un numero indeterminato di fasi. Questo permette l'implementazione di algoritmi che hanno bisogno di raccogliere alcune statistiche sull'intero ingresso prima di procedere con la formazione vera, e altri che devono per scorrere una fase di formazione fino criterio di convergenza è soddisfatto. La possibilità di allenarsi ogni fase utilizzando blocchi di dati in ingresso è mantenuta se i pezzi sono generati con iteratori. Inoltre, crash recovery è disponibile come optional: in caso di guasto, lo stato attuale del flusso viene salvata per l'ispezione successiva.
MDP è stato scritto nel contesto della ricerca teorica in neuroscienze, ma è stato progettato per essere utili in qualsiasi contesto in cui vengono utilizzati algoritmi di elaborazione dati addestrabili. La sua semplicità lato utente insieme con la riutilizzabilità dei nodi implementati rendono anche uno strumento educativo valido

Cosa c'è di nuovo in questa versione:.

• Python 3 supporto.
• Nuove estensioni: caching e pendenza
.
• Un migliorato e ampliato tutorial.
• Molti miglioramenti e correzioni di bug.
• Questa release è sotto licenza BSD.

Cosa c'è di nuovo in versione 2.5:

• 2009-06-30: Aggiunto rilevamento in linea di backend numerico , supporto python parallelo, backend symeig e backend numerico alla produzione di test di unità. Dovrebbe aiutare il debug.
• 2009-06-12:. L'integrazione dei nodi di taglio e istogrammi
• 2009-06-12:. Corretto un bug nel flusso parallelo (gestione delle eccezioni)
• 2009-06-09: Corretto il bug in LLENode quando output_dim è un galleggiante. Grazie a Konrad Hinsen.
• 2009-06-05:. Corretti bug in flusso parallelo per molteplici scheduler
• 2009-06-05:. Corretto un bug nello strato inversa, grazie ad Alberto Escalante
• 2009-04-29:. Aggiunto un LinearRegressionNode
• 2009-03-31: PCANode non lamentarsi più quando la matrice di covarianza ha autovalori negativi IFF SVD == Vero o ridurre == true. Se output_dim è stato specificato ha una varianza desiderato, autovalori negativi vengono ignorati. Migliorato il messaggio di errore per SFANode in caso di autovalori negativi, ora consiglia di anteporre il nodo con un PCANode (SVD = True) o PCANode (ridurre = True).
• 2009-03-26: migrati da vecchio pacchetto filo al nuovo threading uno. Aggiunta di bandiera per disabilitare la cache in corso di pianificazione. Ci sono alcuni cambiamenti di rottura per utilità di pianificazione personalizzate (formazione flusso parallelo o di esecuzione non è interessato).
• 2009-03-25:. Supporto tracciamento Aggiunto revisione svn
• 2009-03-25: Rimosso il flag copy_callable per scheduler, questo è ora completamente sostituito da sborsare il TaskCallable. Ciò non ha alcun effetto per la comoda interfaccia ParallelFlow, ma scheduler personalizzati ottenere rotto.
• 2009-03-22:. Implementato caching in ProcessScheduler
• 2009-02-22:. Make_parallel ora funziona completamente sul posto per salvare la memoria
• 2009-02-12:. Aggiunta metodi container a FlowNode
• 2009-03-03:. Aggiunto CrossCovarianceMatrix con test
• 2009-02-03:. Aggiunto IdentityNode
• 2009-01-30:. Aggiunta una funzione di supporto in Hinet per visualizzare direttamente una rappresentazione HTML flusso
• 2009-01-22:. Consentire output_dim in layer da impostare pigramente
• 2008-12-23:. Aggiunta total_variance al nodo NIPALS
• 2008-12-23:. Explained_variance Impostare sempre e total_variance dopo l'allenamento in PCANode
• 2008-12-12: Modificato symrand per tornare veramente matrici simmetriche (e definita non solo positivo). GaussianClassifierNode Adattato per tenere conto di questo. Symrand Adattato per tornare anche matrici Hermitiane complesse.
• 2008-12-11: Risolto un problema in PCANode (quando output_dim è stato impostato per input_dim varianza totale è stato trattato come sconosciuto). Parametro var_part fissa in ParallelPCANode.
• 2008-12-11:. Aggiunta funzione var_part a PCANode (filtro secondo scostamento rispetto al absoute varianza)
• 2008-12-04: Fisso mancante arg asse in chiamata amax in tutorial. Grazie a Samuel John!
• 2008-12-04: Risolto il dati vuota manipolazione in ParallelFlow iteratore. Anche aggiunto controlli iteratore vuote nel normale flusso (sollevare un'eccezione se l'iteratore è vuota).
• 2008-11-19: Modificato PCA e nodi SFA per verificare la presenza di autovalori negaive nelle matrici COV
• 2008-11-19: symeig integrato in SciPy, MDP può usarlo da lì ora
.
• 2008-11-18:. Aggiunto ParallelFDANode
• 2008-11-18:. Aggiornato il treno callable per ParallelFlow per supportare ulteriori argomenti
• 2008-11-05: riscrittura del codice parallelo marca, ora supporta strutture Hinet
.
• 2008-11-03: Rewrite del repesentation creatore Hinet HTML. Purtroppo questo rompe anche l'interfaccia pubblica, ma i cambiamenti sono abbastanza semplici.
• 2008-10-29: Spegnere gli avvertimenti provenienti da processi remoti in ProcessScheduler
• 2008-10-27:. Corretto il problema con sovrascrittura kwargs nel metodo init di ParallelFlow
• 2008-10-24:. Corretto pre-formato nodi bug in hinet.FlowNode
• 2008-10-20:. Corretto un bug critico nel pacchetto importazione parallela quando è installato pp (biblioteca python parallelo)

Requisiti

• Python
• NumPy
• SciPy