Apache Whirr

Le librerie Apache ronzio sono scritti in Java, con granelli di XML e Python.
Sono stati scritti e compilati per fornire una soluzione single-strumento per lavorare con la pletora di servizi cloud e strumenti basati su cloud che spuntano ovunque su Internet in questi giorni.
Queste librerie forniscono un'interfaccia comune per interagire con ognuno di questi servizi / strumenti, automaticamente la gestione delle differenze tra di loro.
Predefiniti per ogni servizio sono disponibili e lo sviluppatore ha solo bisogno di fare alcune modifiche rapide per ottenere una interfaccia installato e funzionante minuti withing

Caratteristiche :.

Servizi supportati

• La maggior parte dei componenti della Apache Hadoop pila
• Apache Mahout
• Chef
• Puppet
• gangli
• ElasticSearch
• Cassandra
• Voldemort
• Hama


• Services può essere distribuito a:
• Amazon EC2
• Rackspace Cloud

Cosa c'è di nuovo in questa versione:

• Adattatore per OpenStack Clouds
• Creato Kerberos servizio
• script Aggiunto Python per aiutare ssh / scp per VM
• sceneggiatura Whirr per Hadoop MRv2 FILATO installa che supporta Hadoop-2.0.xe Hadoop 3.x (tronco) rami

Cosa c'è di nuovo nella versione 0.5.0:

• Sub-task:
• Supporto di più versioni di ZooKeeper
• Crea ClusterSpec consapevole classe BlobStoreContext factory
• bug corretti:
• Log avvertimento per i nomi di servizio non riconosciuta
• Servizio ZooKeeper deve solo autorizzare l'ingresso alle istanze Zookeeper
• Whirr si blocca quando il file '$ HOME / .ssh / known_hosts' include un identificatore obsoleto per un determinato host IP address.
• Miglioramenti:
• Fare uso più efficiente delle ComputeServiceContext
• Aggiungi ClusterAction per l'esecuzione di script generico
• Migliorare messaggio di errore se whirr.instance-templates lasciati fuori config
• Supporto di più versioni di Hadoop
• Guide di configurazione di aggiornamento con Ricetta Info
• Chiaramente delimitare gli utenti e dei fornitori di servizi API
• Nuove funzionalità:
• [CDH] Avviare altri servizi basati su CDH, non solo HDFS e MR
• Supporto caricare tarball locale
• Aggiungi Voldemort come servizio
• Aggiungi ElasticSearch come servizio
• Aggiungi supporto per BYON

Cosa c'è di nuovo nella versione 0.4.0:

• Bugs:
• istanze deve essere iniziato nell'ordine specificato nel modello.
• [HBase] Test Integration fallisce.
• Maniglia timeout ricciolo migliori.
• Log file non dovrebbero essere inclusi nel tarball o controllati da RAT.
• test di integrazione CDH e Hadoop stanno fallendo.
• NPE per le istanze fermato su EC2.

Funzioni
• Resource / install_cdh_hadoop.sh non trovato durante l'esecuzione dal CLI.
• Miglioramenti:
• Gli utenti dovrebbero essere in grado di sostituire una proprietà arbitraria Hadoop prima del lancio.
• Aggiornamento a jclouds 1,0-beta-9.
• Ricetta per un cluster HBase.
• Mostra disponibili ruoli anziché di nomi di servizi durante l'esecuzione di ./bin/whirr.
• Nuove funzionalità:
• Consenti agli utenti di accedere in cluster come se stessi.
• immagini definite dall'utente di supporto.
• Supporto script localmente forniti.
• Aggiungi la capacità di distruggere un'istanza cluster.

Cosa c'è di nuovo nella versione 0.1.0:

• Sub-task:
• Compila ottenere documentazione iniziato - ottenendo-started.confluence

Processo di rilascio
• Documento e implementare
• Aggiungi KEYS il file nella directory di distribuzione
• Pubblica artefatti Maven per http://repository.apache.org
• documentazione avvio rapido aggiornamento a lavorare con la versione 0.1.0
• Bug:

Comando
• Hadoop-nuvola spinta invoca la creazione di proxy
• Non richiede l'installazione manuale di Apache RAT per compilare
• avvertimenti Fix RAT a causa di file del sito
• Cassandra POM dovrebbe dipendere dal livello superiore
• Soluzione bug 331 a jclouds (alcune operazioni EC2ComputeService falliscono per le istanze smesso)
• Consenti solo accesso ai cluster di reti definite
• Servizio Hadoop è rotto
• test di integrazione non dovrebbero funzionare su & quot; mvn installare & quot;
• Log4j manca dalla JAR CLI
• Improvement:
• Crea Ant per l'esecuzione di test di unità EC2
• Supporto opzione gruppo di protezione aggiuntiva in scrittura Hadoop-EC2
• Crea setup.py per gli script EC2 nube
• Genera un rapporto RAT
• style codice sorgente Applica

Test
• unità separata e di integrazione (il sistema)
• Aggiornamento a jclouds 1,0-beta-6
• Consenti percorsi di script per essere sovrascritti
• Aggiungi avvio rapido Whirr di README.txt e il sito web (una volta che è vivo)
• Aggiornamento POM per puntare a Apache RAT 0.8-SNAPSHOT
• Aprire le porte 50010 (JobTracker) e 50070 (NameNode) per il servizio Hadoop
• Aggiungi javadoc nucleo
• Crea una fabbrica di servizio
• Lasciare che il servizio Hadoop per essere eseguito su server Rackspace cloud
• Adotta l'interfaccia Java SPI standard di
• servizio Implementazione / CDH
• Introdurre la coerenza di denominazione per i fornitori di servizi cloud
• Unify ClusterSpec e ServiceSpec
• disaccoppiano coppie di chiavi dai file che li tengono
• Configurazione Utilizzare Commons per gestire specifiche di cluster
• Pulire le dipendenze POM
• Nuova funzione:
• Aggiungi il supporto per la memorizzazione EBS su EC2
• NameNode Esegui e JobTracker su istanze EC2 separati
• Scrivi un provider Rackspace Cloud
• Aggiungi un servizio ZooKeeper agli script nube
• Aggiungi servizio Cassandra
• Aggiungi un CLI
• Task:
• Importa codice sorgente iniziale Hadoop contrib
• Importa codice sorgente Java iniziale
• Crea sito web del progetto
• Aggiungi directory destinazione svn ignorare
• Release versione 0.1.0