Beaver

Beaver è un demone Python che sgranocchia su tronchi e invia il contenuto a logstash.
Installazione
Usando PIP:
Da Github:
PIP installare git + git: //github.com/josegonzalez/beaver.git#egg=beaver
Da PyPI:
pip installare castoro == 1
Utilizzo
utilizzo:
castoro [-h] [-r {lavoratore, interattivo}] [-m {bind, collegare}] [PATH -p]
& Nbsp; [- FILES f [FILE ...]] [TRASPORTO -t]
argomenti opzionali:
-h, --help mostra questo messaggio di aiuto ed esce
-r {lavoratore, interattivo}, {--run lavoratore, interattivo}
& Nbsp; operaio correre o modalità interattiva
-m {bind, collegare}, {--mode bind, collegare}
& Nbsp; bind o la modalità di connessione
-p PATH, --path percorso PATH per i file di log
FILE -f [FILES ...], --files FILES [FILES ...]
& Nbsp; filelist separati da spazi per guardare. Sostituzioni --path
& Nbsp; argomento
-t {AMQP, Redis, stdout}, {--transport AMQP, Redis, stdout}
& Nbsp; log metodo di trasporto
Sfondo
Beaver fornisce un metodo leggero per la spedizione di file di log locali Logstash. Lo fa utilizzando sia Redis, stdin, zeromq come il trasporto. Questo significa che avrete bisogno di un Redis, stdin, zeromq ingresso da qualche parte lungo la strada per ottenere gli eventi.
Gli eventi vengono inviati in formato json_event di logstash. Le opzioni possono essere impostate come variabili di ambiente.
Esempi
Esempio 1: Ascolta tutti i file nel percorso predefinito di / var / log on standard out:
castoro
Esempio 2: L'invio di log da / var / log file in una lista Redis:
REDIS_URL = "Redis: // localhost: 6379/0" Redis castoro -t
Esempio 3: utilizzare variabili di ambiente per inviare i log da / var / log file in una lista Redis:
REDIS_URL = "Redis: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = Redis castoro
Esempio 4: Zeromq in ascolto sulla porta 5556 (tutte le interfacce):
ZEROMQ_ADDRESS = "tcp: // *: 5556" bind castoro -m
# Logstash config:
ingresso {{zeromq
& Nbsp; type => 'shipper-input'
& Nbsp; mode => 'cliente'
& Nbsp; Topologia => 'pushpull'
& Nbsp; address => 'tcp: // shipperhost: 5556'
& Nbsp;}}
Uscita {stdout {debug => true}}
Esempio 5: Zeromq collegamento alla porta remota 5556 on indicizzatore:
ZEROMQ_ADDRESS = "tcp: // indicizzatore: 5556" castoro -m collegare
# Logstash config:
ingresso {{zeromq
& Nbsp; type => 'shipper-input'
& Nbsp; mode => 'server'
& Nbsp; Topologia => 'pushpull'
& Nbsp; address => 'tcp: // *: 5556'
& Nbsp;}}
Uscita {stdout {debug => true}}

Cosa c'è di nuovo in questa versione:

• Garantire nuovi file vengono aggiunti un trasporta configurazione. Chiude # 96. Chiude # 101. [Jose Diaz-Gonzalez]
• Consenti numeri float per update_file_mapping_time. [Jose Diaz-Gonzalez]
• Fissare fusione valida di valori booleani. [Jose Diaz-Gonzalez]
• Eseguire tutte le conversioni in config.py. Chiude # 99. [Jose Diaz-Gonzalez]

Cosa c'è di nuovo in versione 16:

• Specificare una dimensione della coda massimo di 100 per limitare superamento memoria. [Jose Diaz-Gonzalez]
• Usa multiprocessing per gestire le dimensioni della coda più grandi. [Jose Diaz- Gonzalez]
• In precedenza ci sono stati problemi in cui i file che sono stati aggiornati di frequente, come vernice o server logs sarebbero sopraffare l'attuazione ingenuo di file.readlines () all'interno di Beaver. Questo causerebbe Beaver leggere lentamente porzioni sempre più grandi di un file prima di elaborare una qualsiasi delle linee, causando alla fine Beaver a prendere per sempre per elaborare linee di log.
• Questa patch aggiunge la possibilità di utilizzare una coda di lavoro interno per le linee di log. Ogni volta file.readlines () viene chiamato, le linee sono messi in coda, che è condiviso con un processo figlio. Il processo figlio crea il proprio mezzo di trasporto, che ci permette di creare potenzialmente un pool di processi in futuro per gestire una dimensione della coda più grande.
• Da notare che la limitazione di file.readlines () lettura in troppe linee esiste ancora, e può continuare a causare problemi per alcuni file di log.
• Aggiungi redis_password predefinito alla classe BeaverConfig. [Jose Diaz-Gonzalez]
• Fix mancante sottolineatura causando trasporto rottura. [Norman Joyner]
• Implementare Redis supporto di autenticazione. [Norman Joyner]
• Aggiungi castoro script di init per la modalità daemonization. [Jose Diaz-Gonzalez]
• Usa logger python utilizzando StdoutTransport. [Jose Diaz-Gonzalez]
• Aggiungi bandiere arg brevi per hostname e il formato. [Jose Diaz-Gonzalez]
• Aggiungi la capacità di come demone. Chiude # 79. [Jose Diaz-Gonzalez]
• passare attorno a un'istanza di logger di tutti i trasporti. [Jose Diaz-Gonzalez]
• Ripristina & quot; Aggiunta una classe & quot leggero Event; [Jose Diaz-Gonzalez]
• Dopo la deliberazione, castoro vuole essere & quot; peso leggero & quot ;. Consente di lasciare il colpire pesante per i grandi ragazzi.
• Questo ripristina commit 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Aggiunta una classe Event leggero. [Jose Diaz-Gonzalez]
• esclusiva responsabilità di questa classe sarà l'elaborazione di una data linea come un evento. E 'obiettivo futuro sarà quello di agire come una implementazione leggera del sistema di filtraggio all'interno Logstash
• Rimuovi requisito argparse per Python 2.7 e superiori. [Jose Diaz- Gonzalez]

Cosa c'è di nuovo in versione 13:

• fissi alcune variabili d'ambiente. [Jose Diaz-Gonzalez]
• Supporto SSH Tunnel. [Jose Diaz-Gonzalez]
• Questo codice dovrebbe consentire di creare un tunnel ssh tra due server distinti a fini di invio e la ricezione di dati.
• Questo è utile nei casi in cui si sarebbe altrimenti bisogno di whitelist nella configurazione del firewall o iptables, come ad esempio quando si esegue in due diverse regioni su AWS.
• Consenti per il collegamento ritardo iniziale. Utile quando in attesa di un proxy per la connessione SSH. [Jose Diaz-Gonzalez]
• problema Fix in cui alcuni valori predefiniti di configurazione erano di un valore non corretto. [Jose Diaz-Gonzalez]
• Consenti specificando host tramite bandiera. Chiude # 70. [Jose Diaz-Gonzalez]

Requisiti :

• Python