Condor

Condor è ora influenzata da entrambe le sfide tecnologiche e sociologiche di un tale ambiente informatico,
Condor team ha costruito incredibili strumenti che permettono scienziati e ingegneri di aumentare la loro produttività informatica

Cosa c'è di nuovo in questa versione:.

< li> 7.6.X è la nuova serie stabile Condor.
• Molte nuove funzionalità sono state aggiunte dal 7.4.x.

Cosa c'è di nuovo nella versione 7.3.2:

• Note di rilascio:
• Il formato di output dal condor_status con l'opzione -grid è stata modificata per fornire informazioni più utili.
• Rimosso il ritorno a capo aggiunto alla fine della produzione condor_status -format. Pertanto, il codice che analizza l'output di questo comando dovrebbe fare attenzione durante il taglio l'ultima riga.
• Nuove funzionalità:
• condor_fetchlog possono ora recuperare i file di storia di un demone condor_schedd. E, il file di storia conservata dal demone condor_schedd può ora essere ruotata giornaliera o mensile.
• Il condor_ckpt_server pulisce automaticamente i file di checkpoint stantio. Le variabili di configurazione che controllano questo comportamento sono descritte di seguito.
• Il condor_ckpt_server (sia a 32-bit o 64-bit) eseguibile ora comunicare correttamente tra i 32-bit e 64-bit presentare nodi. Se per qualche po caso problemi di larghezza sorgono nel protocollo checkpoint (ad esempio, con le dimensioni dei file), i messaggi di errore chiari vengono registrati nei log dei server di checkpoint.
• Il nuovo strumento permette condor_ssh_to_job debugging interattivo di processi in esecuzione. Vedere la pagina di manuale a [*] per i dettagli.
• Il comando condor_status è ora sostanzialmente più veloce, in particolare con l'opzione -format.
• universo Griglia tipo di griglia GT5 è stato aggiunto per la presentazione del nuovo servizio di Globus GRAM5. Quando un servizio GRAM è identificato come GT5, JobManager throttling e il monitor griglia non vengono utilizzati. Per i dettagli, vedere la sezione 5.3.2.
• Griglia universo tipo di griglia crema è stato aggiunto per la presentazione al servizio lavoro CREAM di gLite. Per i dettagli, vedere la sezione 5.3.8.
• Quando basso su descrittori di file per creare nuove prese di rete, il daemon condor_schedd ora evita l'accatastamento illimitato di messaggi che invia periodicamente al condor_negotiator e condor_startd.
• Le prestazioni e il fallimento la gestione del monitor griglia sono state migliorate.
• Per il tipo di griglia nordugrid nell'universo grid, le informazioni sullo stato del lavoro è attualmente ottenuta mediante server LDAP di Nordugrid ARC, che dovrebbe migliorare notevolmente le prestazioni. Inoltre, Condor può ora dire quando questi lavori sono in esecuzione.
• La nuova opzione -valgrind a condor_submit_dag cause condor_submit_dag per generare un file di descrizione presentare che utilizza Valgrind su condor_dagman, al posto del binario condor_dagman come eseguibile.
• condor_dagman ora valuta pigramente e apre i file di log di lavoro nodo. Invece di analizzare tutto Invia file di descrizione e immediatamente aprendo i loro file di log specificati all'avvio, condor_dagman analizza ora presentare file di descrizione poco prima di ogni processo viene inviato, e ha ogni file aperto di registro solo quando i lavori in questione sono in coda o l'esecuzione di script POST . Inoltre, condor_dagman ora genera automaticamente un file di registro utente di default per qualsiasi lavoro nodo che non specifica uno.
• Sia il supporto e la documentazione per l'universo MPI sono stati rimossi. Applicazioni MPI sono supportate attraverso l'uso del universo parallelo.
• Quando il test di daemon condor_startd del software della macchina virtuale non riesce (per le macchine configurate come in grado di eseguire macchine virtuali), la condor_startd periodicamente ripetere il test fino a quando non ha successo.
• Il nordugrid_gahp ora limita il numero di connessioni effettuate a ciascun server NorduGrid ARC e riutilizza le connessioni quando possibile.
• Aggiunta la funzione eval ClassAd (), che prende un argomento di stringa e valuta il contenuto della stringa come espressione ClassAd. Un esempio di politica in cui è utile è descritto nella sezione 3.5.9 sulla sospensione del lavoro.
• Il nuovo condor_q opzione -attributes limita gli attributi che vengono visualizzati quando si utilizza il -xml o opzioni -Long. Limitando il numero di attributi aumenta anche l'efficienza della query.
• capacità di gestione dell'alimentazione del Condor è ora implementato come un plug-in. In particolare, il condor_startd ora gestisce un programma esterno, come specificato dalla configurazione HIBERNATION_PLUGIN variabile per eseguire il rilevamento di stati disponibili bassa potenza e la commutazione di questi stati di bassa potenza.
• Il nuovo condor_rooster daemon Condor è stata aggiunta di svegliare le macchine che vanno in letargo quando l'espressione definita dalla configurazione UNHIBERNATE variabile diventa vero. Le variabili di configurazione relative alla condor_rooster sono descritti nel paragrafo 3.3.35.
• Aggiunta la possibilità di estrarre informazioni dal buffer di stato del lettore registro eventi utente al lettore registro utente. Questo viene attuato attraverso una nuova classe ReadUserLogStateAccess C ++ come definito read_user_log.h.
• Modifiche al valore della configurazione CERTIFICATE_MAPFILE variabile o il contenuto del file a cui si fa riferimento non richiedono un riavvio completo del Condor. Invece, il comando condor_reconfig causerà le modifiche essere utilizzati.
• Il demone condor_master ora di stampare il percorso e gli argomenti di tutti i demoni si avvia se D_FULLDEBUG è abilitato. In precedenza, non c'era modo di farlo per visualizzare gli argomenti con cui stava iniziando un demone.
• Il demone condor_had ha ora la possibilità di controllare i demoni diversi dal condor_negotiator. Questo è controllato tramite la macro HAD_CONTROLLEE.
• Condor ora riconosce VOMS estensioni in proxy X.509. Gli attributi VOMS sono codificati nel lavoro ClassAd attributo X509UserProxySubject.
• Il condor_startd ora può pulire le macchine virtuali non recuperabili, a seguito di un incidente di Condor o il sistema operativo host.
• A seguito di un incidente, il condor_gridmanager non riavvia tutte le jobmanagers per i lavori GT2. Ciò dovrebbe migliorare i tempi di recupero.
• Condor funziona meglio con le ClassAds classificati come generica nel daemon condor_collector. Vari demoni che si registrano con ClassAds generici possono avere strumenti che utilizzano l'opzione -subsystem manipolare le loro ClassAds correttamente.
• Condor ora fornisce un meccanismo per far rispettare risorsa rigorosa limitazione per alcuni universi di processi in esecuzione.
• Configurazione Aggiunte variabili e modifiche:
• Il nuovo EMAIL_SIGNATURE variabile di configurazione specifica una firma personalizzata da allegare alle e-mail inviata dal sistema Condor. Se definito, allora questa firma personalizzata sostituisce quello predefinito specificato internamente. Non vi è alcun valore di default per questa variabile.
• La nuova configurazione CKPT_SERVER_CLIENT_TIMEOUT variabile informa i condor_schedd quanto tempo in secondi che è disposto ad aspettare per cercare di parlare con un processo condor_ckpt_server prima di dichiarare un condor_ckpt_server giù. Per la descrizione completa, vedere la sezione 3.3.11.
• Il nuovo CKPT_SERVER_CLIENT_TIMEOUT_RETRY variabile di configurazione informa l'condor_schedd che una volta è stato condor_ckpt_server contrassegnato come giù, come possono secondi devono passare prima che il condor_schedd proverà a comunicare con il condor_ckpt_server nuovo. Per la descrizione completa, vedere la sezione 3.3.11.
• Il nuovo CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL variabile di configurazione informa il condor_ckpt_server per iniziare la rimozione dei posti di blocco stantie all'intervallo specificato in secondi. Per la descrizione completa, vedere la sezione 3.3.8.
• Il nuovo CKPT_SERVER_STALE_CKPT_AGE_CUTOFF variabile di configurazione informa il condor_ckpt_server quanti anni il tempo di accesso di un file di checkpoint deve essere per essere considerato stantio. Questa volta viene confrontato con il concetto attuale di oggi quando il server checkpoint controlla il file immagine checkpoint. Per la descrizione completa, vedere la sezione 3.3.8.
• La nuova configurazione SlotWeight variabile può essere usato per dare uno slot maggior peso nel calcolo l'utilizzo, il calcolo quote eque, e far rispettare le quote di gruppo. Vedere 3.3.10 per la descrizione completa.
• La nuova variabile di configurazione MAX_PERIODIC_EXPR_INTERVAL implementa un tetto al tempo che intercorre tra la valutazione delle espressioni periodici, a causa della tempistica adattiva implicita configurazione PERIODIC_EXPR_TIMESLICE variabile. Vedere 3.3.11 per la descrizione completa.
• La nuova configurazione GRIDMANAGER_SELECTION_EXPR variabile può essere utilizzato per controllare quanti processi condor_gridmanager sarà generato per gestire i processi dell'universo griglia. Come parte di questo cambiamento, rimossa la variabile di configurazione e codice di supporto per GRIDMANAGER_PER_JOB poiché la nuova variabile di configurazione sostituisce esso. Vedere 3.3.11 per la descrizione completa.
• Il GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE variabile di configurazione e le corrispondenti GRIDMANAGER_MAX_PENDING_SUBMITS farfallati sono stati rimossi.
• La nuova configurazione controlla GRID_MONITOR_DISABLE_TIME variabile per quanto tempo il condor_gridmanager attenderà dopo aver incontrato un errore prima di tentare di riavviare un processo griglia Monitor. Vedere 3.3.23 per la descrizione completa.
• La nuova macro configurazione DETECTED_MEMORY predefinita indica la quantità di memoria fisica (RAM) rilevata da Condor. Il valore è dato in Mbyte.
• La nuova configurazione macro DETECTED_CORES predefiniti indica il numero di core della CPU rilevati da Condor.
• La nuova configurazione controlla DELEGATE_FULL_JOB_GSI_CREDENTIALS variabile se una delega, anche limitato X.509 è delegata per tipo grid lavori universo griglia GT2. Vedere 3.3.26 per la descrizione completa.
• La nuova configurazione UNHIBERNATE variabile viene utilizzato dal condor_startd per pubblicizzare nella sua ClassAd un'espressione booleana che specifica quando la macchina deve essere svegliato, per esempio condor_rooster. Vedere 3.3.10 per la descrizione completa.
• Il nuovo HIBERNATION_PLUGIN variabile di configurazione specifica il percorso per il plug-in che il condor_startd utilizza sia per rilevare le capacità di stato di basso consumo di una macchina e di passare la macchina a uno stato di basso consumo. Vedere 3.3.10 per la descrizione completa.
• La nuova configurazione HIBERNATION_PLUGIN_ARGS variabile specifica ulteriori argomenti della riga di comando che il condor_startd passerà al plug-in quando invocandolo per passare la macchina a uno stato di basso consumo. Vedere 3.3.10 per la descrizione completa.
• La nuova configurazione HIBERNATION_OVERRIDE_WOL variabile può essere utilizzato per indirizzare il condor_startd ignorare Wake on LAN (WOL) capacità di interfaccia di rete della macchina, e passare a uno stato di basso, anche se l'interfaccia non supporta WOL, o se WOL è disabilitato su di esso. Vedere 3.3.10 per la descrizione completa.
• La nuova configurazione controlla DAGMAN_USER_LOG_SCAN_INTERVAL variabile quanto tempo condor_dagman attende tra il controllo dei file di registro di lavoro per gli aggiornamenti di stato. Vedere 3.3.25 per la descrizione completa.
• La nuova variabile di configurazione DAGMAN_DEFAULT_NODE_LOG imposta il nome del file di log di default per la nuova funzione di file di log del nodo predefinito condor_dagman. Vedere 3.3.25 per la descrizione completa.
• Rimosso le configurazione DAGMAN_DELETE_OLD_LOGS variabile; nuovo codice di lettura del file di registro rende obsoleta.
• Il nuovo HAD_CONTROLLEE variabile di configurazione viene utilizzato per specificare il nome del demone che i controlli condor_had. Questo nome deve corrispondere al nome daemon in daemon_list del condor_master.
• Bugs fisso:
• Risoluzione di un errore nelle funzioni ClassAd dove gli argomenti che avrebbero dovuto essere forzati correttamente in stringhe invece valutati per ERRORE.
• Risolto un messaggio di diagnostica confuso con il jobrouter, avvenuta quando un processo è stato rimosso entro 5 minuti dalla presentazione.
• Corretto un bug in cui l'uso di slot dinamici (vedi sezione 3.13.7) ha causato le ClassAd macchina attribuiscono SLOT_STARTD_ATTRS sparire dalla ClassAd per alcuni slot.
• Risolto un bug di Windows piattaforma in cui la finestra appartenente a un lavoro Condor non riceve un messaggio di disegno.
• Corretto un bug che causa condor_q -Analizzare crash quando non c'era alcun file daemon ClassAd condor_schedd.
• Risolto un crash condor_procd causato quando l'ambiente di un processo monitorato superato 1 Mbyte in / proc.
• Risolto un bug di Windows piattaforma che potrebbe causare il crash condor_credd se una credenziale richiesto non è nel negozio di password.
• Risolto un bug che causava il lavoro blocco rotazione registro eventi deve essere creato con autorizzazioni non corrette.
• Risolto un bug nella rotazione del registro eventi di lavoro che potrebbe causare mai di ruotare nel porto di Windows di Condor.
• Risolto un potenziale condizione di competizione nella inizializzazione lavoro registro eventi.
• fissi condizione di competizione che potrebbe causare un crash del condor_collector e condor_schedd in arresto.
• Corretto un bug in cui il condor_master a volte morire e produrre un file dprintf_failure.MASTER quando o riavvio a causa di nuovi timestamp binari o quando lanciato inizialmente.
• Risolto un problema di memoria relativi a variabili di configurazione SOAP che si è verificato quando Condor è stato riconfigurato.
• Corretto un bug in cui il comando submit cron_day_of_week file di descrizione è stata erroneamente ignorata.
• Corretto il bug in cui le variabili di configurazione MAX_JOB_QUEUE_LOG_ROTATIONS e GRIDMANAGER_SELECTION_EXPR non funzionerebbero correttamente all'avvio; hanno lavorato solo dopo un condor_reconfig.
• Corretto un bug in cui le operazioni SOAP venivano erroneamente autorizzati con l'IP peer.
• Risolto un bug piattaforma Windows in cui non tutti i demoni Condor erano attendibili da Windows Firewall (precedentemente conosciuto come Firewall connessione Internet o ICF).
• fissi una condizione di competizione arresto nel condor_master rispetto ai demoni di disponibilità elevata.
• Corretto un bug in cui un demone Condor determinato erroneamente si era a corto di descrittori di socket.
• Risolto un bug per cui il condor_schedd bloccherebbe per lunghi periodi di tempo durante il tentativo di connettersi a un server di checkpoint giù. Ora il condor_schedd farà un blocco connettersi con un timeout al server checkpoint per un numero configurabile di secondi. Se la connessione non riesce, il condor_schedd metterà una moratoria sul collegamento al server checkpoint finché i configurabili passi periodo di moratoria. Le variabili dei file di configurazione che descrivono questo comportamento sono descritti sopra.
• Cambiato il controllo che condor_dagman fa per altre istanze condor_dagman in esecuzione lo stesso DAG, se si trova un file di blocco all'avvio. Ora, se condor_dagman non è sicuro se l'altra DAGMan è vivo, continua, piuttosto che uscire.
• Risolto un grave perdita descrittore di file in daemon Cicogna.
• Corretto un bug in cui i trasferimenti di cicogna di successo sono stati contrassegnati come non riuscita.
• Risolto un problema di memoria comune nel codice di lettura file di log degli eventi utente durante la lettura di eventi mal formattati.
• Corretto un bug in cui più ClassAds macchina nel condor_collector con lo stesso nome, ma differenti valori degli attributi StartdIPAddr, causerebbe la condor_negotiator per uscire con un errore. Questo è insolito e non dovrebbe accadere in una tipica installazione Condor. La causa più probabile sta usando condor_advertise pubblicizzare ClassAds personalizzati per la griglia matchmaking.
• Risolto un bug che causava condor_dagman di core dump se tutto Invia tentativi falliti in un nodo DAG con uno script POST. Questo bug esiste dal Condor versione 7.1.4.
• Risolto un problema di memoria nel condor_schedd, che si è verificato quando è stato utilizzata la configurazione NEGOTIATOR_MATCH_EXPRS variabili.
• Risolto un bug nel codice di piattaforma Windows che tratta gli script come eseguibili. Estensioni di file sconosciuto sono stati trattati come un errore, piuttosto che come un eseguibile di Windows.
• Il condor_job_router ora imposta correttamente la ClassAd attributo EnteredCurrentStatus per l'ora corrente quando si crea un nuovo lavoro con routing. In precedenza, ha copiato questo attributo dal lavoro originale.
• Il condor_job_router emette un messaggio di log più amichevole quando osserva che la copia instradato del lavoro è stato rimosso.
• Una correzione è stata fatta per un problema visto in 7.3.1 in cui demoni Condor utilizzando CCB di connettersi ad altri demoni Condor sarebbe a volte consumano grandi quantità di tempo di CPU per nessuna buona ragione.
• Risolto un raro caso fallimento bug in cui tenta di connettersi via CCB potrebbe rimanere in uno stato di attesa a tempo indeterminato.
• A Unix solo bug causato demoni Condor non essere avviati se MAX_FILE_DESCRIPTORS stato configurato superiore al limite rigido corrente ereditata da Condor. Se Condor è in esecuzione come root, questo non è più il caso.
• Il condor_gridmanager ora pubblicizza ClassAds griglia correttamente quando non ci sono più demoni condor_collector.
• Quando si utilizza condor_q -xml e -format insieme per limitare il numero di ClassAd attributi restituiti nella query, il tag contenitore XML non è stato generato. Questo è stato risolto, ma ora il modo migliore per limitare gli attributi restituiti è quello di utilizzare -attributes opzione condor_q.
• Corretto un bug in cui il condor_master Unix non è riuscita quando si cerca di riavviare automaticamente, se la configurazione Master_Lock variabile è stata definita, o se il condor_master è stato richiamato con l'opzione -t. Questo bug esiste dal la serie 7.0, e probabilmente esiste molto più lungo di quello.
• Risolto un problema di memoria significativo nel gahp_server. Questa perdita era presente solo nelle precedenti release 7.3.x Condor.
• Risoluzione di un errore che può causare un lavoro rimosso che si tiene e poi rilasciato per tornare in stand-by.
• I file jar Globus distribuiti con il x86-64 RHEL 5 RPM sono stati danneggiati, causando processi di tipo grid GT4 a fallire. Questo è stato risolto.

Cosa c'è di nuovo nella versione 7.2.2:

• Aggiunto un porto pieno di Condor per Debian 5.0 su la piattaforma x86.
• Aggiunta di una porta tagliata di Condor per Debian 5.0 sulla piattaforma x86_64.
• Aggiunta la bandiera -DumpRescue riga di comando per condor_dagman e condor_submit_dag. Questo flag è destinato principalmente per i test.
• Aggiunto il supporto per l'opzione -debug di condor_qedit.
• Il router Job ora utilizza un timer intervallo di tempo per la valutazione periodica di espressione, simile al demone condor_schedd. L'intervallo di valutazione è controllato dalla configurazione PERIODIC_EXPR_INTERVAL variabili, e di default a 60 secondi lo stesso valore di default usata dal demone condor_schedd.
• Il router Job ora azzera il lavoro di origine, se si verifica un errore durante l'aggiornamento il demone condor_schedd per un'espressione periodica che valutata True. Espressioni periodici del lavoro dovrebbero essere valutati di nuovo un po 'di tempo in futuro con un aggiornamento riuscito.

Cosa c'è di nuovo nella versione 7.2.0:.

• I principali miglioramenti delle funzionalità

Cosa c'è di nuovo nella versione 7.0.5:

• Questa versione contiene molte correzioni di bug e alcuni miglioramenti all'errore gestione di posti di lavoro locali Universe.
• Da notare che alcune delle correzioni sono relativi alla sicurezza; quindi, i siti dovrebbe aggiornare o limitare le autorizzazioni su chi è autorizzato a inviare i lavori Condor a utenti fidati.