Spidr

Lo script può essere eseguito su una singola pagina, sito web, più domini o anche non-stop.
Spidr è progettato per essere veloce e facile da usare

Caratteristiche .

• Ripristina la coda di spidering e la storia da una sessione precedente .
• personalizzati stringhe User-Agent.
• impostazioni proxy personalizzate.
• supporto HTTPS.


• Segue:
• un tag.
• tag iframe.
• telaio.
• Cookie collegamenti protetti.
• HTTP 300, 301, 302, 303 e 307 reindirizzamenti.
• Meta-Refresh Redirect.
• HTTP Auth di base collegamenti protetti.


• Black-list o bianco-lista di URL basati su:
• schema URL.
• Nome host
• Numero porta
• Link completa
• estensione URL


• Fornisce richiamate per:
• Ogni visitato pagina.
• Ogni URL visitato.
• Ogni URL visitato, che corrisponde a un determinato modello.
• Ogni partenza e arrivo, URI di un collegamento.
• Ogni URL che non è riuscito a essere visitato.


• Fornisce metodi d'azione a:
• Pausa spidering.
• Vai elaborazione di pagine.
• Vai elaborazione dei collegamenti.

Cosa c'è di nuovo in questa versione:

• Cattura OpenSSL :: :: SSL eccezioni SSLError quando avviato HTTPS Sessioni.