metaTED

E lo fa con la creazione di oltre 8 Metalink di colloqui TED diverse in entrambi i livelli di qualità e di eventuali gruppi di discussione di directory

Caratteristiche :.

• Crea colloqui con i nomi di file informativi - cioè Spiegazioni non convenzionali / Hans Rosling sull'HIV -. Fatti nuovi e mozzafiato visuals.mp4 dati invece di HansRosling_2009_480.mp4 originale
• sforza di ottenere tutti i colloqui, o almeno la maggior parte di loro -. Con una buona ragione se alcuni non sono riusciti
• Più scelta -. Crea uno metalink per livello di qualità disponibili (attualmente bassa e alta)
• Più scelta - crea un metalink per disposizione raggruppamento parlare, con tutti i discorsi che appartengono allo stesso gruppo collocato all'interno di una directory comune. Le possibili raggruppamenti parlare sono estratti dai metadati colloqui (attualmente in lavorazione / anno di pubblicazione, parlare tema e autore).
• caching aggressivo nel corso del progetto, per evitare costose operazioni di rete / CPU più possibile. Corretta invalidazione della cache incluso.
• Alti livelli di tolleranza di errore.
• Semplice, ma potente web crawler homegrown.
• progettazione software flessibile ed estensibile con i cambiamenti in mente.
• Fornisce sia lo script console e una API pubblica.

Cosa c'è di nuovo in questa versione:.

• Blacklisted un altro URL colloquio con nessun download
• autore aggiornato e metadati video di marcatori come TED ha aggiornato il loro layout di HTML.

Cosa c'è di nuovo nella versione 2.0.0:

• aggiunte Feature:
• Risolto il problema # 4 - Aggiunto il supporto sottotitoli parlare, secondo la richiesta popolare. Grandi grazie a Randall Mason per l'implementazione iniziale.
• Inserito il parallelismo al crawler, portando a sostanziali miglioramenti delle prestazioni.
• anno le riprese aggiunta, l'anno di pubblicazione e il nome dell'evento per metadati colloqui, che automagicamente ha aggiunto nuove possibili raggruppamenti di colloquio.
• Inserito il parallelismo al generatore Metalink, portando a sostanziali miglioramenti delle prestazioni.
• Bugfix:
• marcatori Aggiornato tema parlare come TED ha aggiornato il loro layout di HTML e una migliore gestione degli errori.
• Aggiornato video scaricare marcatori e scaricare il codice di rilevamento URL come TED ha aggiornato il loro layout di HTML.
• marcatori autore aggiornate e codice di rilevamento come TED ha aggiornato il loro layout di HTML.

Cache di
• metadati talk_info viene scritto su disco il prima possibile per ridurre al minimo la perdita di dati in caso di errori.
• setup.cfg Rimosso come non abbiamo più bisogno di esso.
• Rimosso il riferimento al progetto sognante-trac da LICENZA.
• Internals:
• Switched usare setuptools per distribuire per il confezionamento.
• Rimosso caching crawler basato pagina in quanto non è più utilizzato, né necessaria.
• Switched dal BeautifulSoup a lxml e rimosso il codice crawler consuetudine a favore di lxml.html.parse.
• versione Python Minimal urtato da 2.4+ a 2.6 +.
• Maggiore refactoring per modernizzare codebase esistenti, migliorando lo stile di codice, ottimizzando le prestazioni e per liberarsi del debito tecnico accumulato. API esistenti ha subito un po '.

Cosa c'è di nuovo nella versione 1.0.5:

• Aggiornato marcatori discorso a tema come TED ha aggiornato il loro layout di HTML .

Cosa c'è di nuovo in versione 0.1:

• lista nera un paio di URL parlare come hanno non avuto i download per un bel po '.
• marcatori Aggiornato scaricare il video come TED ha aggiornato il loro layout di HTML.

Requisiti :

• Python