Scrapy

Scrappy è scritto 100% in Python e può essere utilizzato per i dati semplice estrazione, al monitoraggio pagina dei motori di ricerca web e anche per il test del codice.
Scrapy non è un motore di ricerca nel vero senso della parola, ma si comporta come uno (senza la parte di indicizzazione). Tuttavia Scrapy può essere un ottimo strumento per costruire la vostra logica dei motori di ricerca su.
Il vero potere di questo quadro si basa nella versatilità del suo nucleo, Scrapy essendo un sistema su cui costruire i ragni di ricerca generici o dedicati (crawler) su.
Anche se questo può sembrare molto complicato per gli utenti non tecnici, con un rapido sguardo sulla documentazione e tutorial disponibili, è abbastanza semplice per vedere come Scrapy è riuscito a togliere tutto il duro lavoro di questo e di ridurre l'intero processo a solo poche righe di codice (per una più facile, crawler più piccoli)

Cosa c'è di nuovo in questa versione:.

• percorso di richiesta Unquote prima di passare alla FTPClient, già percorsi di fuga.
• Includere prove / a fonte di distribuzione in MANIFEST.in.

Cosa c'è di nuovo nella versione 1.0.1:

• percorso di richiesta Unquote prima di passare alla FTPClient, già percorsi di fuga.
• Includere prove / a fonte di distribuzione in MANIFEST.in.

Cosa c'è di nuovo nella versione 0.24.6:

• Aggiungi UTF8 intestazione codifica ai modelli
• console Telnet ora si lega a 127.0.0.1 di default
• Aggiorna Debian / Ubuntu installare istruzioni
• Disattiva le stringhe intelligenti nelle valutazioni lxml XPath
• Ripristina cache basata su file system di default per la cache HTTP middleware
• Esporre crawler corrente in Scrapy shell
• Migliorare testsuite confrontando CSV e XML esportatori
• Nuovo offsite / filtrata e offsite / domini Statistiche
• process_links supporto come generatore in CrawlSpider

Cosa c'è di nuovo nella versione 0.24.5:

• Aggiungi UTF8 intestazione codifica ai modelli
• console Telnet ora si lega a 127.0.0.1 di default
• Aggiorna Debian / Ubuntu installare istruzioni
• Disattiva le stringhe intelligenti nelle valutazioni lxml XPath
• Ripristina cache basata su file system di default per la cache HTTP middleware
• Esporre crawler corrente in Scrapy shell
• Migliorare testsuite confrontando CSV e XML esportatori
• Nuovo offsite / filtrata e offsite / domini Statistiche
• process_links supporto come generatore in CrawlSpider

Cosa c'è di nuovo nella versione 0.22.0:

• Rinomina scrapy.spider.BaseSpider a scrapy.spider .Spider
• Promuovere informazioni sulle impostazioni di avvio e middleware a livello INFO
• parziali di supporto a get_func_args util
• Consenti l'esecuzione di test indiviual via tox
• Aggiorna estensioni ignorate dai link di estrattori
• I selettori registrano namespace EXSLT di default
• Unificare voce pale simili a selettori ridenominazione
• Fai classe RFPDupeFilter facilmente derivabili classi
• Migliorare la copertura dei test e prossimo supporto Python 3

Cosa c'è di nuovo nella versione 0.20.1:

• include_package_data è necessario per costruire ruote da fonti pubblicate.

Cosa c'è di nuovo nella versione 0.18.4:.

• fissi AlreadyCalledError sostituzione di una richiesta di comando di shell
• fissi start_requests pigrizia e l'inizio si blocca.

Cosa c'è di nuovo nella versione 0.18.1:.

• Rimosso importazione supplementare aggiunto di ciliegia scelto cambiamenti
• fissi strisciando test sotto contorto pre 11.0.0.
• py26 non può formattare campi di lunghezza pari a zero {}.
• errori Prova PotentiaDataLoss sulle risposte non legati.
• Trattare le risposte senza contenuto, lunghezza o Transfer-Encoding come buoni risposte.
• non fa includono ResponseFailed se http11 handler non è abilitato.

Requisiti :

• Python 2.7 o superiore
• ritorto 2.5.0 o superiore
• libxml2 2.6.28 o superiore
• pyOpenSSL