Apache Hadoop

I big data sono un termine di marketing che racchiude l'intera idea di dati estratti da fonti come motori di ricerca, modelli di acquisto di negozi di alimentari tracciati tramite carte punti ecc. Nel mondo moderno, Internet ha così tanti fonti di dati, che il più delle volte la bilancia lo rende inutilizzabile senza l'elaborazione e l'elaborazione impiegherebbe un'incredibile quantità di tempo da qualsiasi server. Inserisci Apache Hadoop

​​Sfruttando l'architettura Hadoop per distribuire attività di elaborazione su più macchine su una rete , i tempi di elaborazione diminuiscono astronomicamente e le risposte possono essere determinate in un ragionevole lasso di tempo. Apache Hadoop è diviso in due componenti diversi: un componente di archiviazione e un componente di elaborazione. Nei termini più semplici, Hapood rende un server virtuale su più macchine fisiche . In realtà, Hadoop gestisce la comunicazione tra più macchine in modo che lavorino insieme abbastanza da sembrare che ci sia solo una macchina che lavora sui calcoli. I dati sono distribuiti su più macchine per essere memorizzati e Le attività di elaborazione sono allocate e coordinate dall'architettura Hadoop

. Questo tipo di sistema è un requisito per convertire i dati grezzi in informazioni utili sulla scala degli input dei Big Data. Considera la quantità di dati ricevuta da Google ogni secondo dagli utenti che accedono alle richieste di ricerca. Come una massa totale di dati, non sapresti da dove iniziare, ma Hadoop ridurrà automaticamente il set di dati in sottoinsiemi di dati più piccoli e organizzati e assegnerà questi sottoinsiemi gestibili a risorse specifiche. Tutti i risultati vengono quindi riportati indietro e assemblati in informazioni utilizzabili .

Un server facile da impostare

Sebbene il sistema suoni complesso, la maggior parte delle parti mobili sono oscurate dietro l'astrazione. L'impostazione del server Hadoop è abbastanza semplice , basta installare i componenti del server su hardware che soddisfi i requisiti di sistema. La parte più difficile sta pianificando la rete di computer che il server Hadoop utilizzerà per distribuire i ruoli di archiviazione e elaborazione. Ciò può implicare l'impostazione di una rete locale o la connessione di più reti insieme attraverso Internet . Puoi anche utilizzare i servizi cloud esistenti e pagare per un cluster Hadoop su piattaforme cloud popolari come Microsoft Azure e Amazon EC2. Questi sono ancora più facili da configurare in quanto puoi girarli ad hoc e quindi rimuovere i cluster quando non ne hai più bisogno. Questi tipi di cluster sono ideali per i test poiché paghi solo per il tempo in cui il cluster Hadoop è attivo.

Elabora i tuoi dati per ottenere le informazioni che ti servono

I big data sono una risorsa estremamente potente, ma i dati sono inutili a meno che non possano essere categorizzati correttamente e trasformati in informazioni. Al momento, i cluster di Hadoop offrono un metodo estremamente conveniente per elaborare queste raccolte di dati in informazioni.