Hadoopy

Si tratta essenzialmente di una libreria Python per MapReduce scritta in Cython

Caratteristiche .

• Interfaccia simile come Hadoop API (design pattern utilizzabili tra le interfacce Python / Java)
• compatibilità generale con Dumbo per consentire agli utenti di passare avanti e indietro
• Utilizzabile su cluster Hadoop senza Python o l'accesso amministratore
• conversione ed elaborazione veloce
• Soggiorno piccolo e ben documentata
• Essere trasparenti con quello che sta succedendo
• programmi Maneggiare con .so complicati di, ctypes ed estensioni
• Il codice scritto per hack-capacità
• semplice accesso HDFS (ad esempio, la lettura, la scrittura, ls)
• Support (e non replica) il maggiore ecosistema Hadoop (ad esempio, Oozie, whirr)
• automatizzato parallelizzazione lavoro 'auto-oozie' disponibili nel progetto del flusso hadoopy (mantenuto dal ramo)
• esecuzione locale di lavoro MapReduce non modificato con launch_local
• / scrittura di file da leggere sequenze di TypedBytes direttamente a HDFS di pitone (readtb, writetb)
• Consente di stampare a stdout e stderr in compiti Hadoop senza causare problemi (utilizza la tecnica di 'pipe salti', entrambi sono disponibili in stderr del compito)
• Opere su cluster senza alcuna installazione supplementare, Python, o qualsiasi librerie Python (utilizza Pyinstaller che è incluso in questa struttura di origine)
• Opere su OS X
• Percorso critico è in Cython
• semplice accesso HDFS (readtb e ls) all'interno di Python, anche dentro l'esecuzione di lavori
• Interfaccia prova Unità
• Rapporti con stato e contatori (e stampare le dichiarazioni! Non c'è bisogno di aver paura di loro in Hadoopy)
• Supporta modelli di progettazione del libro Lin e Dyer
• Typedbytes supporto (molto veloce)
• Supporto Oozie

Requisiti

• Cython 0.13 o superiore