Apache Hadoop è stato inizialmente sviluppato da Yahoo e il progetto è una combinazione tra le precedenti Apache Hadoop Core e Apache Hadoop pronti contro termine comuni.
Il progetto Hadoop ha guadagnato un sacco di notorietà grazie ai suoi ottimi risultati nella realizzazione di un sistema di calcolo distribuito multi-server per la gestione di grandi quantità di dati.
Il progetto stesso è in realtà costituito da quattro parti. Uno è Hadoop comune, il cosiddetto nucleo che permette a tutti gli altri moduli di lavorare, il secondo è un proprio file system - HDFS (Hadoop Distributed File System), il terzo è il quadro di programmazione FILATO Hadoop, e infine c'è il sistema Hadoop MapReduce per supportare il calcolo parallelo.
L'utilizzo di questi sistemi di rottura a terra, l'Apache è riuscita a creare molti altri progetti collaterali, come:
- Apache Ambari
- Apache Avro
- Apache Cassandra
- hbase
- Apache Hive
- Apache Mahout
- Apache Pig
- Apache Spark
- Apache Tez
- Apache Zookeeper
Tutte queste si basano sulla potente motore di elaborazione dei dati di Hadoop o le sue caratteristiche di calcolo distribuito, integrando uno dei suoi moduli, in un modo del loro core o l'altro.
Cosa c'è di nuovo in questa versione:
- Supporto per l'archiviazione di archiviazione
- Dati trasparente crittografia riposo (beta)
- operativo DataNode sicuro senza richiedere l'accesso root
- unità Hot swap: il supporto aggiungere / rimuovere i volumi nodo dati senza riavviare nodo di dati (beta)
- supporto per la crittografia AES a filo più veloce
- Il supporto per i servizi di gestione a lungo in filato
- etichette dei nodi di supporto durante la pianificazione
- Il supporto per la prenotazione di risorse basate sul tempo in Scheduler Capacità (beta)
- globale, cache condivisa per i manufatti di applicazione (beta)
- supporta l'esecuzione di applicazioni in modo nativo in Docker contenitori (alpha)
Cosa c'è di nuovo nella versione 2.7.1:
- Supporto per l'archiviazione di archiviazione
- Dati trasparente crittografia riposo (beta)
- operativo DataNode sicuro senza richiedere l'accesso root
- unità Hot swap: il supporto aggiungere / rimuovere i volumi nodo dati senza riavviare nodo di dati (beta)
- supporto per la crittografia AES a filo più veloce
- Il supporto per i servizi di gestione a lungo in filato
- etichette dei nodi di supporto durante la pianificazione
- Il supporto per la prenotazione di risorse basate sul tempo in Scheduler Capacità (beta)
- globale, cache condivisa per i manufatti di applicazione (beta)
- supporta l'esecuzione di applicazioni in modo nativo in Docker contenitori (alpha)
Cosa c'è di nuovo nella versione 2.7.0:
- Supporto per l'archiviazione di archiviazione
- Dati trasparente crittografia riposo (beta)
- operativo DataNode sicuro senza richiedere l'accesso root
- unità Hot swap: il supporto aggiungere / rimuovere i volumi nodo dati senza riavviare nodo di dati (beta)
- supporto per la crittografia AES a filo più veloce
- Il supporto per i servizi di gestione a lungo in filato
- etichette dei nodi di supporto durante la pianificazione
- Il supporto per la prenotazione di risorse basate sul tempo in Scheduler Capacità (beta)
- globale, cache condivisa per i manufatti di applicazione (beta)
- supporta l'esecuzione di applicazioni in modo nativo in Docker contenitori (alpha)
Cosa c'è di nuovo nella versione 2.6.0:
- Supporto per l'archiviazione di archiviazione
- Dati trasparente crittografia riposo (beta)
- operativo DataNode sicuro senza richiedere l'accesso root
- unità Hot swap: il supporto aggiungere / rimuovere i volumi nodo dati senza riavviare nodo di dati (beta)
- supporto per la crittografia AES a filo più veloce
- Il supporto per i servizi di gestione a lungo in filato
- etichette dei nodi di supporto durante la pianificazione
- Il supporto per la prenotazione di risorse basate sul tempo in Scheduler Capacità (beta)
- globale, cache condivisa per i manufatti di applicazione (beta)
- supporta l'esecuzione di applicazioni in modo nativo in Docker contenitori (alpha)
Cosa c'è di nuovo nella versione 2.5.0:.
- miglioramenti di autenticazione quando si utilizza un server proxy HTTP
- Un nuovo Hadoop Metrics lavandino che consente di scrivere direttamente a grafite.
- Specifica per Hadoop sforzo Filesystem compatibile.
- Il supporto per stile POSIX filesystem attributi estesi.
- OfflineImageViewer per sfogliare un fsimage tramite l'API WebHDFS.
- miglioramenti supportabilità e correzioni di bug al gateway NFS.
- web modernizzato interfacce utente (HTML5 e Javascript) per demoni HDFS.
- Supporto API REST del FILATO la presentazione e l'uccisione di applicazioni.
- integrazione Kerberos per negozio linea temporale del filato.
Cosa c'è di nuovo nella versione 2.4.0:
- Il supporto per Access Control Lists in HDFS
- Il supporto nativo per aggiornamenti in sequenza in HDFS
- L'utilizzo di protocollo-buffer per HDFS FSImage per gli aggiornamenti operativi lisce
- Supporto completo HTTPS in HDFS
- Il supporto per il failover automatico del filo ResourceManager
- Supporto migliorato per le nuove applicazioni su filato con Storia Application Server e Application Server Timeline
- Il supporto per forti SLA in filo CapacityScheduler tramite prelazione
Cosa c'è di nuovo nella versione 2.3.0:.
- Il supporto per la gerarchia eterogenei bagagli in HDFS
- cache in memoria per i dati di HDFS con l'amministrazione e la gestione centralizzata.
- Distribuzione semplificata dei file binari MapReduce via HDFS in filato cache distribuita.
Cosa c'è di nuovo nella versione 2.2.0:
- FILATI - Un sistema di gestione delle risorse di uso generale per Hadoop per consentire MapReduce e altri in altri ambiti e servizi di elaborazione dati
- High Availability per HDFS
- HDFS Federazione
- HDFS istantanee
- l'accesso ai dati in NFSv3 HDFS
Cosa c'è di nuovo nella versione 2.1.0-beta:
- HDFS istantanee
- Supporto per l'esecuzione Hadoop su Microsoft Windows
- stabilizzazione FILATO API
Cosa c'è di nuovo nella versione 2.0.3-alpha:
- QJM per HDFS HA per NameNode
- programmazione multi-risorse (CPU e memoria) per il filato
- FILATO ResourceManager Riavvia
- stabilità significativi a scala di filati (oltre 30.000 nodi e 14 milioni di applicazioni finora, al momento del rilascio)
Cosa c'è di nuovo nella versione 1.0.0:.
- Maggiore sicurezza
- HBase (aggiungere / hsynch / hflush, e la sicurezza).
- webhdfs (con pieno supporto per la sicurezza).
- Performance migliore accesso ai file locali per HBase.
- Altri miglioramenti delle prestazioni, correzioni di bug e funzionalità.
Cosa c'è di nuovo nella versione 0.20.2:
- buffer RPC server di invio mantiene dimensioni del più grande risposta mai inviato.
- librerie C ++ non costruiscono su Debian Lenny.
- Alcuni script C ++ non sono chmodded prima dell'esecuzione formica.
- Streaming:. Processo previsto i messaggi di stato vengono sovrascritti ogni 10 seoncds
- IllegalArgumentException quando CombineFileInputFormat viene utilizzato come InputFormat lavoro.
- bug multipli w / archivi Hadoop.
- Consentire la memorizzazione nella cache delle istanze di filesystem per essere disabilitata su una base per-instance.
- mancante di sincronizzazione per defaultResources in Configuration.addResource.
- GzipCodec non dovrebbe rappresentare BuiltInZlibInflater come decompressorType.
- NameNode di HTTPServer non può istanziare InetSocketAddress: IllegalArgumentException viene lanciato .
- HTTPServer dorme con valori negativi.
- NameNode corre di fuori di memoria a causa di perdita di memoria in server IPC.
- IPC cliente bug può causare chiamata RPC appendere.
- In mancanza test impediscono il resto degli obiettivi di prova dall'esecuzione.
- test Contrib non riescono a costruire Clover'ed.
- I test non funziona su 0.20 ramo.
- TestStreamingStatus sta venendo a mancare il 0.20 ramo.
I commenti non trovato