Apache Flume

Apache Flume stato sviluppato come un sistema intermedio che raccoglie tronchi da un'applicazione e lo consegna ad un altro.
Dovrebbe funzionare con la maggior parte delle applicazioni e gli sviluppatori Java dovrebbero stare tranquilli, Flume protetto contro la perdita di dati e il fallimento del servizio.
Dati Log è trasmesso in streaming in tempo reale attraverso i sistemi fault tolerant con il supporto per molti meccanismi di failover e recovery.
Perché Flume va da una posizione centrale, gli sviluppatori possono facilmente gestire e anche attingere le sue risorse per le statistiche e gli scopi di analisi.
Una caratteristica nascosta di Flume è il suo sistema di vero e proprio "data-agnostic". Questo significa che si può facilmente passare fonte di un flusso di dati da un output di registro a qualsiasi altra cosa e utilizzare Flume di informazioni in modo sicuro aggregate dai vari tipi di servizi.
Questi possono essere messaggi di posta elettronica, social media, flussi di traffico di rete, e così via

Cosa c'è di nuovo in questa versione:.

• Rimozione SSLv2Hello provoca Java 6 clienti per rompere
• Abilita SSLv2Hello per Avro Source e NettyAvroRpcClient
• Abilita SSLv2Hello per HttpSource
• Aggiunto il dev-supporto per src tarball
• prova Unità TestHTTPSource.java riuscita con IBM JDK 1.7
• HTTP origine dovrebbe essere in grado di bloccare un insieme prefissato di protocolli.
• HTTPS test falliscono su Java 6
• Consenti configurazione dei protocolli abilitati a fonte Avro e client RPC

Cosa c'è di nuovo nella versione 1.5.2:

• Rimozione SSLv2Hello provoca Java 6 clienti per rompere
• Abilita SSLv2Hello per Avro Source e NettyAvroRpcClient
• Abilita SSLv2Hello per HttpSource
• Aggiunto il dev-supporto per src tarball
• prova Unità TestHTTPSource.java riuscita con IBM JDK 1.7
• HTTP origine dovrebbe essere in grado di bloccare un insieme prefissato di protocolli.
• HTTPS test falliscono su Java 6
• Consenti configurazione dei protocolli abilitati a fonte Avro e client RPC

Cosa c'è di nuovo nella versione 1.5.0:

• Nuova funzione:
• Introdurre una sorta di SpillableChannel
• Consenti SpoolDir passare solo il nome del file che è la fonte di un evento
• Flume Context non supporta float o valori doppi di configurazione.
• Aggiorna morphlines a 0.7.0
• intestazioni forniti flume-ng-log4jappender utenti Supporto
• Elasticsearch Lavello per ES HTTP API
• Aggiunto un lavandino per Kite dataset
• directory di spooling non dovrebbe consumare sempre il file più vecchio.
• Miglioramento:
• configurazioni di esempio Flume Guida per l'utente è necessario fissare
• Fai SpoolDir lavorare con sotto-directory
• Spooling fonte directory dovrebbe essere in grado di sostituire o ignorare i caratteri non validi
• Maneggiare un maggiore carico utile via SyslogUDPSource
• Aggiorna dipendenza morphline biblioteca per un rilascio 0.5.0
• Riduzione eventi duplicati causati da Reset-connessione-interval

Cosa c'è di nuovo nella versione 1.3.0:

• Aggiunto HTTP Post Fonte
• ElasticSearch Sink
• Flume adottare messaggio da Scribe locale esistente
• Aggiunta una fonte multiporta syslog
• File Canale deve supportare la crittografia
• creare una fonte di SpoolDirectory e Client
• Bilanciamento del carico client RPC dovrebbe sostenere backoff esponenziale di nodi falliti
• Dump stato del contatore del RollingFileSink quando l'agente si ferma
• Regex Extractor Interceptor

Cosa c'è di nuovo nella versione 1.2.0:

• Implementata una memoria durevole Canale
• Guida sviluppatore Creato per Flume GN
• Client SDK
• Implementato un bene durevole FileChannel
• Interceptors implementate (precedentemente conosciuto come pittura) per Flume 1.x
• Implementata una HBase Sink che supporta l'accesso a livello di tabella
• Implementato Timestamp Interceptor
• Asynchronous HBase Sink

Requisiti

• Java 1.6 o superiore