LPBS

LPBS (Local Sistema Batch Portable) è uno strumento per emulare PBS su una workstation locale.
PBS / COPPIA è un sistema di programmazione di lavoro che viene utilizzato su molti cluster di calcolo ad alte prestazioni. Il pacchetto LPBS fornisce strumenti per eseguire script di lavoro PBS su una workstation locale. In particolare, LPBS fornisce il comando lqsub che prende le stesse opzioni di comando della PBS qsub ed esegue uno script di lavoro a livello locale, in un ambiente praticamente identica a quella che PBS / COPPIA fornirebbe. Il lavoro verrà eseguito in background e viene assegnato un ID lavoro. A differenza del sistema PBS, LPBS non eseguirà alcuna programmazione, ma semplicemente eseguire il lavoro che gli è sottoposta. LPBS fornisce ulteriori strumenti per gestire i processi in esecuzione.
Installazione
LPBS può installare da Cheese Shop, utilizzando
pip installare LPBS
In alternativa, il pacchetto può essere installato da sorgente con
python setup.py install
Configurazione
Memorizza LPBS tutti i suoi dati di configurazione e di runtime nella cartella riportate nella variabile d'ambiente $ LPBS_HOME. Questa variabile di ambiente deve essere definita. La configurazione è in lpbs.cfg file all'interno di $ LPBS_HOME. Se questo file non esiste quando uno degli script LPBS gestiscono, verrà creato un file di configurazione con i seguenti valori di default:
[Server]
# Hostname Pieno di server di presentazione (hostname.domain). Saranno messi a disposizione
# Per l'esecuzione di posti di lavoro attraverso l'ambiente PBS_SERVER variabile. ID lavoro finirà
# Nel nome host del server
hostname: localhost
dominio: locale
[Node]
# Hostname completo del nodo di esecuzione (hostname.domain). Saranno messi a disposizione
# Per l'esecuzione di posti di lavoro attraverso l'ambiente PBS_O_HOST variabile. Dal momento che è LPBS
# Progettato per eseguire i lavori a livello locale, le impostazioni qui dovrebbe essere in generale
# Identici a quelli nella sezione [Server]
hostname: localhost
dominio: locale
[LPBS]
# Impostazione per l'esecuzione del lavoro.
# Se 'username_in_jobid' è attivata, gli ID avrà la forma
# 'Seqnr.user.hostname.domain' dove 'user' è il nome utente dell'utente
# Presentare il lavoro.
# Il file dato in 'sequence_file' è utilizzato per tenere traccia del 'SeqNr'
# Appare nel ID lavoro.
# Il file dato in 'file di log' viene utilizzato per la registrazione di tutti gli eventi LPBS. Entrambi
# 'Sequence_file' e 'file di log' sono relative a $ LPBS_HOME.
username_in_jobid: 0
sequence_file: Sequenza
file di log: lpbs.log
[Scratch]
Impostazioni # per lo spazio scratch fornito ai posti di lavoro. 'Scratch_root' definisce un
# Luogo in cui lavori dovrebbero scrivere i dati temporanei. Se dato come percorso relativo,
# È relativo a $ LPBS_HOME. Le variabili di ambiente sarà ampliato al
# Momento della presentazione del lavoro.
# Se il valore di # 'create_jobid_folder' è impostato a 1, una cartella con il nome di
# L'ID del processo completo viene creato all'interno scratch_root. Questa cartella è automaticamente
# Eliminato quando il processo termina, a meno che 'keep_scratch' è impostato a 1. Se il lavoro
# Fallito, il graffio non sarà cancellato, a meno che non sia impostato 'delete_failed_scratch'
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Notifica]
Impostazioni # su come l'utente dovrebbe essere di notifica di eventi quali l'avvio
# E la fine di un lavoro. Se sent_mail è impostato su 1, email saranno inviate per
notifiche # seconda del valore dell'opzione '-m' per lqsub. Se
# 'Send_growl' è impostato su 1, Growl (http://growl.info) viene utilizzato per la notifica
# Su MacOS X. notifiche tramite Growl non tengono in considerazione le opzioni '-m'
# Durante l'invio del lavoro.
send_mail: 0
send_growl: 0
[Mail]
impostazioni SMTP # per le notifiche e-mail. Mail di notifica verrà inviata da
# All'indirizzo indicato dall'opzione 'da'. Il server SMTP dato in 'smtp' è
# Utilizzato per l'invio dei messaggi di posta elettronica, se 'autenticazione' è impostato a 1, l'autenticazione è
# Fatto con il dato 'username' e 'password'. Se 'TLS' è 1, la crittografia TLS
# Sarà usato.
da: nobody@example.org
smtp: smtp.example.com:587
username: user
Password: secret
autenticazione: 0
tls: 1
[Growl]
# Impostazioni per le notifiche Growl. Le notifiche vengono inviate a uno
# Localhost o un host remoto tramite il protocollo GNTP. L'impostazione 'hostname'
# Dà l'indirizzo e la porta del server Growl, la data 'password' è
# Utilizzato per l'autenticazione (si noti che, se l'invio di localhost, no
# Autenticazione è necessaria, e la password deve essere vuota). Se
# 'Appiccicoso' è impostato su 1, le notifiche Growl saranno appiccicoso. Esso è
# Possibile inviare le notifiche a più di un host. In questo caso, sia
# 'Hostname' e 'password' deve essere un elenco separato da virgole di valori, con
# Ogni elemento corrispondente ad un host. Es
# Hostname: localhost, remotehost
# Password: segreto
hostname: localhost: 23053
Password:
appiccicoso: 0
[Registro]
# 'File di log' dà il nome del file di registro centrale, rispetto a $ LPBS_HOME.
file di log: lpbs.log
Si noti che se si utilizza il file di configurazione di default, la variabile d'ambiente $ SCRATCH_ROOT deve essere definita e la directory a cui punta dovrebbe esistere ed essere scrivibile a tutti gli utenti che potrebbero inviare i lavori.
Per l'installazione a livello di sistema, / var / lpbs è un luogo adatto per $ LPBS_HOME. La variabile di ambiente può essere impostata in /etc/bash.bashrc per tutti gli utenti. Per una installazione nello spazio utente, è consigliabile virtualenv.
Dopo che il file di configurazione principale, il file $ HOME / .lpbs.cfg anche essere letta. Un utente può utilizzare questa funzione per sovrascrivere le impostazioni nella configurazione del sistema. Infine, il comando qsub ha anche una opzione --config che permette di specificare ancora un file di configurazione addizionale da leggere.
Utilizzo
LPBS contiene gli script lqsub, lqstat, e lqdel, che emula i comandi PBS / COPPIA qsub, qstat, e lqdel rispettivamente. Il comando lqsub viene utilizzato per inviare i lavori, lqstat viene utilizzato per visualizzare le informazioni sull'esecuzione di lavori, e lqdel viene utilizzato per interrompere i processi in esecuzione. Per esempio:
Goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
Goerz @ localhost: ~> lqstat
Id lavoro Nome utente Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest Goerz 00:00:22
Goerz @ localhost: ~> lqstat -f 3.localhost.local
Id Job: 3.localhost.local
& Nbsp; job_name = pbstest
& Nbsp; Job_Owner = Goerz
& Nbsp; server = localhost.local
& Nbsp; EXEC_HOST = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; output_path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
Goerz @ localhost: ~> lqdel 3.localhost.local
Il comando qsub è destinato a comprendere tutte le opzioni della riga di comando del comando qsub in COPPIA versione 2.18, solo che tutte le opzioni relative alla programmazione sono silenziosamente ignorati. Quindi, tutto script di processo PBS deve essere submittable senza modifiche. Per i dettagli, lqsub visione lqstat e lqdel con l'opzione --help, e / o guardare il manuale di COPPIA.
Un script di processo Esempio
Il seguente è un esempio di un semplice script di processo PBS che stamperà l'ambiente completo che il lavoro vede. Si consiglia di inoltrare il processo sia con LPBS e PBS / COPPIA per verificare che con le impostazioni appropriate in lpbs.cfg, LPBS fornisce un ambiente identico LPBS.
#! / Bin / bash
#PBS -N Pbstest
#PBS -j Oe
#PBS -l Nodi = 1: ppn = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10mb
#PBS -o Pbstest.out
echo "################################################ #### "
echo "Utente: $ PBS_O_LOGNAME"
echo "job batch è iniziato il $ PBS_O_HOST"
echo "PBS lavoro id: $ PBS_JOBID"
echo "PBS nome del lavoro: $ PBS_JOBNAME"
echo "directory di lavoro PBS: $ PBS_O_WORKDIR"
echo "Job è iniziato il" `` hostname` date`
echo "directory corrente:" `pwd`
echo "ambiente PBS: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Ambiente completa:"
printenv
echo "################################################ #### "
echo "Il lavoro è in esecuzione il seguente nodo:"
cat $ {} PBS_NODEFILE
echo "################################################ ########## "
echo "lavoro finito:" `date`
exit 0

Requisiti :

• Python