Apache Kafka

Apache Kafka è simile a motore Scribe di Facebook (se si ha familiarità ad esso) e può essere utilizzato per gestire flussi di attività.

Funziona consentendo agli sviluppatori di mantenere uno o più flussi di attività (o feed).

I feed possono essere organizzati in argomenti, e quindi trasmessi (pubblicato) per tutti i consumatori sottoscritti.

Le parti di Kafka che gestiscono e pubblicano i feed sono chiamati produttori.

Kafka è fondamentalmente lo strato intermedio tra i produttori ei consumatori, un sistema complesso che può gestire qualsiasi tipo di traffico e le richieste su qualsiasi tipo di scala.

Questo perché Kafka è stato costruito per gestire le architetture server distribuite, permettendo agli sviluppatori di scalare i loro sistemi di pub / sub su servizi cloud.

Cosa c'è di nuovo in questo rilascio:.

• Un nuovo produttore Java per la facilità di implementazione e prestazioni avanzate
• Elimina supporto argomento.
• Per la configurazione tema della preferenza per la coerenza su disponibilità.
• Scala 2.11 il sostegno e il supporto per far cadere Scala 2.8.
• compressione LZ4.

Cosa c'è di nuovo in versione 0.8.2.1:

• A nuovo produttore Java per la facilità di implementazione e una maggiore prestazioni.
• Elimina supporto argomento.
• Per la configurazione tema della preferenza per la coerenza su disponibilità.
• Scala 2.11 il sostegno e il supporto per far cadere Scala 2.8.
• compressione LZ4.

Cosa c'è di nuovo nella versione 0.8.0-beta1:.

• fissi strumenti Potenza esistenti
• Filo produttore e consumatore esistenti di utilizzare la nuova struttura di dati ZK.
• Crea / Cancella percorso ZK per un argomento in un strumento di amministrazione.
• Implementato un controller embedded.

Cosa c'è di nuovo nella versione 0.7.1:

• Evitare messaggio duplicato durante riequilibrio dei consumatori
• Supporto invio configurabile / riceve la dimensione del buffer del socket server
• javaapi ZookeeperConsumerConnectorTest duplica molte prove nella versione scala
• Fare ° riequilibrio dei consumatori tentativi configurabile
• SyncProducer deve accedere host e la porta se non riesce a connettersi.
• Ridurre i messaggi duplicati serviti dal consumatore Kafka per argomenti non compressi
• Evitare direttamente registrazione stacktrace
• Fare il tempo di backoff durante riequilibrio consumatore configurabile
• Migliorare log4j appender usare kafka.producer.Producer, e il supporto zk.connect | Opzioni broker.list
• Separare Kafka mirroring in un'applicazione stand-alone
• produttore Hadoop dovrebbe utilizzare il software di bilanciamento del carico

Cosa c'è di nuovo nella versione 0.7.0:

• Kafka ora supporta la compressione a livello di blocco. Vedere wiki compressione per i dettagli. Attualmente solo gzip è sup porting.
• Accedere ritenzione può ora dipendere spazio (log.retention.size).

Cosa c'è di nuovo nella versione 0.6:

• bug corretti:
• SimpleProducer perdere i messaggi quando viene presa una eccezione io
• Se il produttore invia un MessageSet invalido il broker aggiungerà esso, corrompendo il registro
• ByteBufferMessageSet registra errore circa recuperare formato
• Shutdown Kafka quando c'è qualche errore di disco IO
• Propagazione server di tutte le eccezioni a consumatori
• close () in SimpleConsumer deve essere sincronizzato
• Documentazione Codice del Consumo
• Migliorare EventHandler in AsyncProducer
• Il produttore basato Zookeeper non rimuove un broker morto dalla sua lista servendo una richiesta di prodotti
• i registri di consumo ERRORE durante vicino
• Miglioramenti:
• test JUnit Pulizia
• MessageSet non implementa Java iterabile
• Encoder predefinita per Kafka log4 appender
• esplicitamente citare tutte le discussioni
• refactoring API pubblica in Java e Scala API
• Migliorare documentazione API per tutte le API pubbliche
• Rimuovere le API java FileMessageSet
• unit test sicuro su alcune macchine Linux
• Crea sottoprogetti SBT per perf, esempi, contrib che attualmente utilizzano Ant
• Aggiungi JMX per cambiare livello log4j dinamicamente sul server di Kafka
• Aggiornamento a Zookeeper 3.3.3
• javaapi MessageSet non ha bisogno di implementare presa WriteTo
• Nuove funzionalità:
• Nuova API produttore