Il Benchmark sistema Bioinformatica è un tentativo di creare un quadro ragionevole di test, prove, e dei dati, per consentire agli utenti finali e fornitori di sondare le prestazioni dei loro sistemi.
Quello che stiamo cercando di fare è di creare un quadro per i test, e un insieme di prove che tutti possano scaricare e utilizzare per sondare gli elementi specifici di prestazioni dei sistemi.
Inoltre, la fonte di questi test sono disponibili sotto licenza GPL, e sono ospitati su Bioinformatics.org e scalabile Informatica LLC L'idea è quella di consentire agli utenti finali, i consumatori, gli sviluppatori di sistemi, e altri per creare facilmente e utilizzare i test significativi per motivi di misura e di messa a punto .
Joe Landman da Scalable Informatics LLC ha concepito l'idea e scrisse la codifica. Siamo alla ricerca di ulteriori suggerimenti benchmark di codice, test, set di dati, etc.
Test di base attuali sono diversi NCBI BLAST corre, diverse piste HMMER, e una varietà di altri. Abbiamo in programma di includere ClustalW, X! Tandem, vario chimica, le dinamiche, e relativi test, così come molti altri.
Test come LINPACK o HPL semplicemente non forniscono indicatori di prestazione significativi o modelli predittivi per l'informatica ad alte prestazioni. Purtroppo, né una serie di test più recenti e mirati.
Questo è un problema come LINPACK e HPL specificamente testare le prestazioni su vari operazioni di matrice, dove si hanno i modelli di accesso alla memoria in modo efficace regolari e specifiche operazioni matematiche.
Questi codici sono più utili per il confronto di codici con operazioni in virgola mobile pesanti, e il traffico memoria interlacciata. Questi codici non sono stati progettati per una completa analisi comparativa dei sistemi, dove disco I / O, la latenza della memoria, e di altri fattori contribuiscono a problemi di prestazioni.
Le migliori prove sono quelli che sono più simili ai codici verrà eseguito sulla macchina. I test stessi dovrebbero essere approssimazioni ragionevoli ad una vera e propria esecuzione del codice, utilizzando dati reali. Potrebbe essere necessario sbucciare di nuovo al fine di ottenere tempi di esecuzione realistici.
Si dovrebbe avere un ragionevole sottogruppo di dimensioni dei dati. Un singolo test non dice come il sistema scale, e una delle ragioni per l'esistenza di questo test è specifico per permettere di testare le prestazioni, mentre si aumenta vari aspetti del carico di lavoro.
Raramente si ottiene un sistema di riposo in un cluster, quindi vi consigliamo di che si tenta di eseguire in modo più realistico un ambiente operativo più possibile. Una linea di base in un sistema di riposo va bene, ma può impostare le vostre aspettative irragionevolmente.
top
I commenti non trovato