Apache Hive

Apache Hive è stato sviluppato come un Apache Hadoop sotto-progetto per fornire agli amministratori Hadoop con un facile da usare, linguaggio di query competente per i loro dati.
A causa di questo, Hive è stato sviluppato fin dall'inizio per lavorare con enormi quantità di informazioni per ogni query e si adatta perfettamente per i database su larga scala e ambienti aziendali.
Gli strumenti sono inclusi, per caricamento facilitato, l'estrazione e la trasformazione dei dati, mentre le strutture dati personalizzati possono essere forzate su una vasta gamma di formati di dati.
Dal momento che si tratta di un progetto Hadoop legata la HDFS e HBase progetti sono supportati anche automaticamente.
HiveQL è probabilmente la parte migliore del progetto, fornendo un linguaggio di query semplice, innovativo ed efficiente, pur essendo in grado di gestire mapper e riduttori in situazioni in cui la sintassi SQL nativo non può ottenere i dati desiderati.

Cosa c'è di nuovo in questa versione:

• Supporto subquery non correlate nella clausola WHERE
• Aggiungi NULL DEFINITO COME remare specifiche del formato
• banca dati Ccreate / goccia deve compilare ingressi / uscite e controllare la concorrenza e il permesso dell'utente
• scala sostenere, specificando e la precisione con il tipo Hive decimale
• Non ci devono essere Tez
• Una funzione che comprende la posizione del elemento dell'array
esplodere
• Aggiungi tipo di dati char
• Crea raccogliere UDF e fare valutatore riutilizzabile
• Estendere interfacce scrittore registrare e ORC lettore / scrittore per fornire statistiche
• Implementare statistiche forniscono Scrittore e lettore interfacce ORC
• Annotate albero operatore alveare con le statistiche metastore
• Fornire statistiche di colonna a livello di banda in ORC
• Supporto Sottoquery: non consentire la nidificazione di sottoquery
• Supporto Sottoquery: permettono espressioni subquery ad avere clausola
• supporto Sottoquery: più test
• Native Parquet Supporto nella Hive
• Hive dovrebbe essere in grado di saltare intestazione e piè righe quando la lettura di file di dati per una tabella
• Aggiungi DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR tipi sostenere in HCAT
• Usa mappa-join suggerimento per mettere in cache risultato intermedio
• Aggiungi UDF per calcolare la distanza tra le coordinate geografiche

Cosa c'è di nuovo nella versione 1.2.0:

• Supporto subquery non correlate nella clausola WHERE
• Aggiungi NULL DEFINITO COME remare specifiche del formato
• banca dati Ccreate / goccia deve compilare ingressi / uscite e controllare la concorrenza e il permesso dell'utente
• scala sostenere, specificando e la precisione con il tipo Hive decimale
• Non ci devono essere Tez
• Una funzione che comprende la posizione del elemento dell'array
esplodere
• Aggiungi tipo di dati char
• Crea raccogliere UDF e fare valutatore riutilizzabile
• Estendere interfacce scrittore registrare e ORC lettore / scrittore per fornire statistiche
• Implementare statistiche forniscono Scrittore e lettore interfacce ORC
• Annotate albero operatore alveare con le statistiche metastore
• Fornire statistiche di colonna a livello di banda in ORC
• Supporto Sottoquery: non consentire la nidificazione di sottoquery
• Supporto Sottoquery: permettono espressioni subquery ad avere clausola
• supporto Sottoquery: più test
• Native Parquet Supporto nella Hive
• Hive dovrebbe essere in grado di saltare intestazione e piè righe quando la lettura di file di dati per una tabella
• Aggiungi DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR tipi sostenere in HCAT
• Usa mappa-join suggerimento per mettere in cache risultato intermedio
• Aggiungi UDF per calcolare la distanza tra le coordinate geografiche

Cosa c'è di nuovo nella versione 1.1.0:

• Supporto subquery non correlate nella clausola WHERE
• Aggiungi NULL DEFINITO COME remare specifiche del formato
• banca dati Ccreate / goccia deve compilare ingressi / uscite e controllare la concorrenza e il permesso dell'utente
• scala sostenere, specificando e la precisione con il tipo Hive decimale
• Non ci devono essere Tez
• Una funzione che comprende la posizione del elemento dell'array
esplodere
• Aggiungi tipo di dati char
• Crea raccogliere UDF e fare valutatore riutilizzabile
• Estendere interfacce scrittore registrare e ORC lettore / scrittore per fornire statistiche
• Implementare statistiche forniscono Scrittore e lettore interfacce ORC
• Annotate albero operatore alveare con le statistiche metastore
• Fornire statistiche di colonna a livello di banda in ORC
• Supporto Sottoquery: non consentire la nidificazione di sottoquery
• Supporto Sottoquery: permettono espressioni subquery ad avere clausola
• supporto Sottoquery: più test
• Native Parquet Supporto nella Hive
• Hive dovrebbe essere in grado di saltare intestazione e piè righe quando la lettura di file di dati per una tabella
• Aggiungi DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR tipi sostenere in HCAT
• Usa mappa-join suggerimento per mettere in cache risultato intermedio
• Aggiungi UDF per calcolare la distanza tra le coordinate geografiche

Cosa c'è di nuovo nella versione 1.0.0:

• Supporto subquery non correlate nella clausola WHERE
• Aggiungi NULL DEFINITO COME remare specifiche del formato
• banca dati Ccreate / goccia deve compilare ingressi / uscite e controllare la concorrenza e il permesso dell'utente
• scala sostenere, specificando e la precisione con il tipo Hive decimale
• Non ci devono essere Tez
• Una funzione che comprende la posizione del elemento dell'array
esplodere
• Aggiungi tipo di dati char
• Crea raccogliere UDF e fare valutatore riutilizzabile
• Estendere interfacce scrittore registrare e ORC lettore / scrittore per fornire statistiche
• Implementare statistiche forniscono Scrittore e lettore interfacce ORC
• Annotate albero operatore alveare con le statistiche metastore
• Fornire statistiche di colonna a livello di banda in ORC
• Supporto Sottoquery: non consentire la nidificazione di sottoquery
• Supporto Sottoquery: permettono espressioni subquery ad avere clausola
• supporto Sottoquery: più test
• Native Parquet Supporto nella Hive
• Hive dovrebbe essere in grado di saltare intestazione e piè righe quando la lettura di file di dati per una tabella
• Aggiungi DATE, TIMESTAMP, DECIMAL, CHAR, VARCHAR tipi sostenere in HCAT
• Usa mappa-join suggerimento per mettere in cache risultato intermedio
• Aggiungi UDF per calcolare la distanza tra le coordinate geografiche

Cosa c'è di nuovo nella versione 0.8.1:

• Strumenti per consentire estrarre dati facile / trasformare / carico (ETL).
• Un meccanismo per imporre la struttura su una varietà di formati di dati.
• L'accesso ai file memorizzati direttamente in Apache HDFS (TM) o in altri sistemi di archiviazione dati, come hbase (TM).
• l'esecuzione di query tramite MapReduce.

Cosa c'è di nuovo nella versione 0.8.0:

• Strumenti per consentire estrarre dati facile / trasformare / carico (ETL)
• Un meccanismo per imporre la struttura su una varietà di formati di dati
• L'accesso ai file memorizzati direttamente in Apache HDFS (TM) o in altri sistemi di archiviazione dati, come hbase (TM)
• l'esecuzione di query tramite MapReduce

Cosa c'è di nuovo nella versione 0.7.1:

• Bugs:
• Eccezione su Windows quando si utilizza il driver JDBC. & quot; IOException:. Il sistema non riesce a trovare il percorso specificato & quot;
• script di creazione dello schema sono incompleti in quanto lasciano fuori le tabelle che sono specifici per DataNucleus.
• Miglioramenti:
• Migliorare i messaggi di errore di vario genere.
• Torna corretti principali minori numeri di versione per JDBC / Hive driver.
• Aggiungere l'attuazione HivePreparedStatement sulla base di HIVE supportato corrente-tipo di dati.
• Attività:
• Hive in Maven.
• Fornire Metastore script di aggiornamento e schemi predefiniti per PostgreSQL.

Cosa c'è di nuovo nella versione 0.7.0:

• Nuova funzione:
• infrastrutture Autorizzazione Hive
• Implementazione di indicizzazione in Hive
• Aggiungi riflettere () UDF per invocazione riflettente di metodi Java
• Hive TypeInfo / ObjectInspector a sostegno dell'Unione (oltre struct, array e mappa)
• Implementare GenericUDF str_to_map
• Patch per sostenere clausola Hive HAVING
• Segui il join che vengono convertiti per mappare-join automaticamente
• di frequenza e durata delle chiamate metriche per HiveMetaStore via JMX
• Mantenere LastAccessTime nel metastore
• Miglioramento:
• opzione Fornire per esportare un colpo di testa
• Supporto per la selezione distinti su due o più colonne
• Descrivi output della tabella / partizione estesa è criptico
• Manca alcune funzionalità JDBC come getTable, getColumns e HiveResultSet.get * metodi basati su nome della colonna.
• Tapping tronchi provenienti dai processi figlio
• Supporto Pushdown filtro contro le tabelle non nativi
• Sostituire dipendenze HBase deprecato API
• Aggiungi QueryId mentre il blocco
• Aggiorna transident_lastDdlTime solo se non specificato
• Aggiungi ulteriori informazioni di debug per il bloccaggio alveare
• HiveInputFormat o CombineHiveInputFormat sempre sincronizzare blocchi di rcfile due volte
• Mostra il tempo l'attività locale assume
• Creare una nuova istanza ZooKeeper quando il blocco riprovare, e più informazioni per il debug
• Aggiungi un opzione per eseguire compito di verificare se map-join possibilità in modalità non-locale
• Più di debug per il blocco
• Aggiungi un'opzione inserti partizioni dinamiche per lanciare un errore se 0 partizioni sono state create
• Bugs:
• & quot; LOAD DATA INPATH LOCALI & quot; fallisce quando la tabella contiene già un file con lo stesso nome
• NULL non viene gestito correttamente in join
• HiveInputFormat.getInputFormatFromCache & quot; rondini & quot; causa un'eccezione quando gettando IOExcpetion
• Aggiungi progressi unirsi e GroupBy
• Semplici UDAFs con più di 1 parametro schianto sulla interrogazione vuota fila
• campo UDF () non funziona
• inserti partizione dinamica lasciati file vuoti sporchi in Hadoop 0.17 modalità locale
• Salta aggiornamento del contatore quando RunningJob.getCounters () restituisce null

Cosa c'è di nuovo nella versione 0.5.0:.

• Permette all'utente di specificare serde per script personalizzati
• Aggiungi UDF unhex.
• Rimuovi importazione lzocodec da FileSinkOperator.
• driver NullPointerException quando si chiama getResults senza prima compilazione.
• Miglioramento delle prestazioni per rcfile e ColumnarSerDe in Hive.