PHPCrawl

Può essere utilizzato per iscritto crawler di ricerca (ragni) che le pagine web di miniera per varie informazioni.
PHPCrawl acquisisce informazioni è stato configurato in modo da recuperare e lo passa alle applicazioni più potenti per l'ulteriore elaborazione

Caratteristiche :.

• Filtri per dati URL e Content-Type
• Definisci modi per gestire i cookie
• Definisci modi per gestire i file robots.txt
• Limitare la sua attività in vari modi

Modalità
• Multi-elaborazione

Cosa c'è di nuovo in questa versione:

• Corretti bug:
• Links che sono parzialmente urlencoded e parzialmente non farsi ricostruiscono / codificati correttamente ora.
• Rimosso un var_dump di debug inutili () da PHPCrawlerRobotsTxtParser.class.php
• Server-name-indicazione TLS / SSL funziona correttamente ora.
• & quot; base-href & quot;. -tag In siti web vengono interpretati correttamente ora di nuovo

Cosa c'è di nuovo in versione 0.80 beta:

• Codice è stato completamente riscritta, portato su PHP5-OO- codice e un sacco di codice è stato riscritto.
• Aggiunta la possibilità di utilizzare i processi di utilizzo di più di ragno di un sito web. Metodo & quot; goMultiProcessed () & quot; aggiunto.
• Nuovo metodo override & quot; initChildProcess () & quot; aggiunto per l'avvio di bambini-processi quando si utilizza il crawler in multi-processo-mode.
• Implementet alternativa, SQLite interna caching meccanismo per gli URL che consentono di ragno molto grandi siti web.
• Metodo & quot; setUrlCacheType () & quot; aggiunto.
• Nuovo metodo ImpostaCartellaDiLavoro () aggiunto per definire la posizione dei cingoli working-directory temporanea manualmente. Perciò metodo & quot; setTmpFile () & quot; è contrassegnato come deprecato (non ha più alcuna funzione).
• Nuovo metodo & quot; addContentTypeReceiveRule () & quot; sostituisce il metodo e vecchio quot; addReceiveContentType () & quot;.
• La funzione & quot; addReceiveContentType () & quot; è ancora presente, ma è stato contrassegnato come deprecato.

Requisiti :

• PHP 5 o superiore
• PHP con il supporto OpenSSL