Apache Pig ha generato dal Apache Hadoop progetto ed è uno dei suoi moduli che, qualora il compito di fornire un modo per analizzare i dati che trattati e conservati.
Pig usa un linguaggio di query personalizzata denominata "Pig Latin", che è incredibilmente facile da imparare e supporta entrambi gli stili relazionali e funzionali.
Questo significa che è possibile utilizzarlo come un linguaggio classico SQL beneficiando di dati si unisce e filtri, oppure è possibile utilizzare le sue caratteristiche MapReduce, i mapper dati e riduttori.
Per impostazione predefinita Apache Pig è stato pensato per essere utilizzato all'interno di installazioni Hadoop, ma le versioni più recenti permettono di eseguire separatamente tramite una JVM separata
Cosa c'è di nuovo in questa versione:.
- motori di esecuzione (Pluggable per consentire corsa maiale su motori non MapReduce in futuro)
- modalità Auto-locale (a lavori con dimensioni ridotte dei dati di input per l'esecuzione in-process)
- Fetch ottimizzazione (per migliorare l'interattività di grugnito)
- contatori fissi per locale-mode
- Il supporto per cache utente vaso livello
- Il supporto per liste nere e whitelist comandi maiale
- Diverse correzioni prestazioni e le funzioni debuggability
- Alcune modifiche di interfaccia non indietro compatibili sono state introdotte in questa versione per rendere il lavoro maiale con motori non MapReduce
Cosa c'è di nuovo nella versione 0.14.0:
- motori di esecuzione (Pluggable per consentire corsa maiale sulla non motori -mapreduce in futuro)
- modalità Auto-locale (a lavori con dimensioni ridotte dei dati di input per l'esecuzione in-process)
- Fetch ottimizzazione (per migliorare l'interattività di grugnito)
- contatori fissi per locale-mode
- Il supporto per cache utente vaso livello
- Il supporto per liste nere e whitelist comandi maiale
- Diverse correzioni prestazioni e le funzioni debuggability
- Alcune modifiche di interfaccia non indietro compatibili sono state introdotte in questa versione per rendere il lavoro maiale con motori non MapReduce
Cosa c'è di nuovo nella versione 0.11.0:
- Questo rilascio include DateType tipo di dati, RANK, CUBE e operatori ROLLUP, UDF Groovy, stima riduttore personalizzato, tuple base dello schema e l'integrazione HCatalog DDL.
Cosa c'è di nuovo nella versione 0.9.1:.
- Questa versione funziona con Hadoop 0.20
Cosa c'è di nuovo nella versione 0.6:
- Aggiunto Zebra come progetto contrib. Vedere http://wiki.apache.org/pig/zebra
- Aggiunto UDFContext, dà UDF un modo per passare informazioni da davanti a dietro fine e dà accesso al UDFS JobConf nel backend.
- Aggiunto lasciato outer join per frammento replica join.
- Aggiunta la possibilità di impostare la priorità di lavoro da Pig Latin.
- avanzato multi-query per lavorare con unisce in alcuni casi.
- gestore di memoria Rielaborato per ridurre significativamente GC aeree e Fuori fallimenti Heap.
- Interfaccia Aggiunto Accumulator per UDF.
- Oltre 100 correzioni di bug e miglioramenti.
Requisiti :
- 1.6.x Java o superiore
- Apache Hadoop 0.20.x o superiore
I commenti non trovato