Science applications in Bc2S farm
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese
Pasquale Notarangelo – INFN Bari
Overview
• Introduzione
• Job Submission Tool (JST)
• Galaxy workflow management system
• ReCaS science gateway
• Supporto utenti
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 2
Pasquale Notarangelo – INFN Bari
Introduzione
• L’infrastruttura di calcolo INFN ReCaS Bari supporta diverse comunità scientifiche e gli
esperimenti a loro connessi:
• Fisica delle alte energie
• Fisica teorica
• Telerilevamento
• Modellizzazione ambientale
• Lifescience (comunità bioinformatica, fisica medica, ecc…)
• Fra tali comunità scientifiche riveste un ruolo di particolare rilievo quella di
bioinformatica, in virtù delle collaborazioni nei vari progetti come BioVeL, Elixir, Lifewatch,
ecc...
• Le applicazioni di bioinformatica:
• sono molto esigenti in termini di risorse computazionali
• oltre alle risorse di calcolo gli utenti hanno bisogno di monitorare in tempo reale lo stato delle loro
attività
• La ReCaS Farm di Bari offre un serie di tecnologie Grid/Cloud per soddisfare tali esigenze
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 3
Pasquale Notarangelo – INFN Bari
Strumenti per la bioinformatica
• I tools disponibili in ReCaS Farm Bari sono:
• JST – Job Submission Tool
• Galaxy workflow management system
• ReCaS science gateway
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 4
Pasquale Notarangelo – INFN Bari
JST – Job Submission Tool
• JST è un’applicazione (Java) tramite cui è possibile:
• sottomettere jobs
• monitorarne lo stato di esecuzione
• gestire automaticamente l’eventuale ri-esecuzione dei
job falliti
• notificare all’utente l’esito delle sue esecuzioni
• JST nasconde all'utente la complessità di operare in
un ambiente di calcolo eterogeneo e distribuito
(Grid/Cloud/Cluster).
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 5
Pasquale Notarangelo – INFN Bari
JST – Job Submission Tool
• Database: contiene la TaskList (elenco delle attività
da eseguire) ed i parametri di configurazione
• FrontEnd: utilizzato per interrogare la TaskList
tramite Web Services (RESTful / SOAP).
L'utente può interagire con il FrontEnd:
• da un applicazioni client
• da un browser Web
• da un motore di workflow (es. Galaxy,
Taverna, LONI, ...)
• da una combinazione di quanto sopra
• BackEnd: è un demone configurabile che manda in
esecuzione i jobs ed invia le notifiche all'utente.
• WebDav: server usato come repository per lo
scambio di file con l’utente.
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 6
Pasquale Notarangelo – INFN Bari
JST – Job Submission Tool
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 7
Pasquale Notarangelo – INFN Bari
• Ad esecuzione terminata JST invia una mail all’utente con:
• Informazioni circa l’esito dell’esecuzione
• Link per il download dei risultati
Galaxy workflow managent system
• Galaxy è un open source, web-
based Workflow Management
System (WFMS), scritto in
Python, tramite cui è possibile
prevalentemente eseguire,
riprodurre e condividere analisi
biomediche.
• Nel nostro centro di calcolo è
stata installata e personalizzata
un’istanza di Galaxy
implementando una suite di
tools dedicati.
• In particolare è stato realizzato il
workflow dell’applicazione
BioMaS nelle sue due versioni
Illumina e 454.
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 8
Pasquale Notarangelo – INFN Bari
http://galaxy.cloud.ba.infn.it:8080/root
ReCaS Science Gateway
• Nell’ambito del PON ReCaS è stata
installata, presso l’INFN-Bari, un’istanza
del Recas Science Gateway basata sul
framework Liferay.
• Dal portale è possibile accedere in
maniera semplice all'Infrastruttura
Grid/Cloud ed eseguire, mediante le
risorse disponibili, diverse applicazioni tra
cui:
• BioMaS (Applicazione di
metagenomica)
• MsaPAD (Applicazione di
filogenetica)
• Medical Physics (Applicazione di
imaging medico)
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 9
Pasquale Notarangelo – INFN Bari
https://recasgateway.ba.infn.it/
ReCaS Science Gateway
• Il portale supporta diverse forme di
autenticazione basate sul meccanismo
di autenticazione federata.
• È possibile accedere tramite:
• Account social (gmail, facebook, …)
• Account istituzionali aderenti alla
federazione
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 10
Pasquale Notarangelo – INFN Bari
Login
Applicazioni in ReCaS Science Gateway
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 11
Pasquale Notarangelo – INFN Bari
• Medical Phisycs è il frontend sviluppato dal gruppo
di lavoro (Uniba e INFN-Bari) che studia le neuro
immagini ed è rivolta alla comunità di fisica
medica.
• Attraverso l’applicazione web è possibile, data
un’immagine di risonanza magnetica, l’estrazione
automatica del cervello ed il calcolo del volume
intracranico e la segmentazione dell’ippocampo.
• Avvalendosi della ReCaS farm sono stati
fortemente ottimizzati i tempi computazionali (da
giorni a ore)
• Lo scorso settembre i metodi sviluppati sono stati
premiati al workshop internazionale promosso
dalla Harward Medical School (MICCAI 2014 -
Boston)
Applicazioni in ReCaS Science Gateway
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 12
Pasquale Notarangelo – INFN Bari
• Medical Phisycs è il frontend sviluppato dal gruppo
di lavoro (Uniba e INFN-Bari) che studia le neuro
immagini ed è rivolta alla comunità di fisica
medica.
• Attraverso l’applicazione web è possibile, data
un’immagine di risonanza magnetica, l’estrazione
automatica del cervello ed il calcolo del volume
intracranico e la segmentazione dell’ippocampo.
• Avvalendosi della ReCaS farm sono stati
fortemente ottimizzati i tempi computazionali (da
giorni a ore)
• Lo scorso settembre i metodi sviluppati sono stati
premiati al workshop internazionale promosso
dalla Harward Medical School (MICCAI 2014 -
Boston)
Esempio di output
Applicazioni in ReCaS Science Gateway
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 13
Pasquale Notarangelo – INFN Bari
Applicazioni in ReCaS Science Gateway
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 14
Pasquale Notarangelo – INFN Bari
Esempio di output di BioMaS
19/12/2014 - Bari
BiP Day - Seconda Giornata della Bioinformatica Pugliese 15
Pasquale Notarangelo – INFN Bari
Supporto agli utenti nella Farm Recas di Bari
Email condivisa fra amministratori —> supporto utenti (bc2s.help@gmail.com)
Mailing list Utenti/Amministratori —> Forum + supporto utenti (bc2s-users@lists.ba.infn.it)
Account Skype condiviso fra amministratori —> supporto utenti (bc2s.support)
Sistema di Ticketing con Redmine —> supporto utenti
(http://redmine.ba.infn.it:3000/projects/bc2s/issues)
Form online richiesta VM UNIBA
(https://docs.google.com/forms/d/1siDKrV3OUZmp1NE2ja2J6qefXcxkJp5wgUYX2yFs6zE/viewform)
Account Facebook (https://www.facebook.com/RecasBari)
Account Twitter (https://twitter.com/RecasBari)

BiPday 2014 -- Notarangelo Pasquale

  • 1.
    Science applications inBc2S farm 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese Pasquale Notarangelo – INFN Bari
  • 2.
    Overview • Introduzione • JobSubmission Tool (JST) • Galaxy workflow management system • ReCaS science gateway • Supporto utenti 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 2 Pasquale Notarangelo – INFN Bari
  • 3.
    Introduzione • L’infrastruttura dicalcolo INFN ReCaS Bari supporta diverse comunità scientifiche e gli esperimenti a loro connessi: • Fisica delle alte energie • Fisica teorica • Telerilevamento • Modellizzazione ambientale • Lifescience (comunità bioinformatica, fisica medica, ecc…) • Fra tali comunità scientifiche riveste un ruolo di particolare rilievo quella di bioinformatica, in virtù delle collaborazioni nei vari progetti come BioVeL, Elixir, Lifewatch, ecc... • Le applicazioni di bioinformatica: • sono molto esigenti in termini di risorse computazionali • oltre alle risorse di calcolo gli utenti hanno bisogno di monitorare in tempo reale lo stato delle loro attività • La ReCaS Farm di Bari offre un serie di tecnologie Grid/Cloud per soddisfare tali esigenze 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 3 Pasquale Notarangelo – INFN Bari
  • 4.
    Strumenti per labioinformatica • I tools disponibili in ReCaS Farm Bari sono: • JST – Job Submission Tool • Galaxy workflow management system • ReCaS science gateway 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 4 Pasquale Notarangelo – INFN Bari
  • 5.
    JST – JobSubmission Tool • JST è un’applicazione (Java) tramite cui è possibile: • sottomettere jobs • monitorarne lo stato di esecuzione • gestire automaticamente l’eventuale ri-esecuzione dei job falliti • notificare all’utente l’esito delle sue esecuzioni • JST nasconde all'utente la complessità di operare in un ambiente di calcolo eterogeneo e distribuito (Grid/Cloud/Cluster). 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 5 Pasquale Notarangelo – INFN Bari
  • 6.
    JST – JobSubmission Tool • Database: contiene la TaskList (elenco delle attività da eseguire) ed i parametri di configurazione • FrontEnd: utilizzato per interrogare la TaskList tramite Web Services (RESTful / SOAP). L'utente può interagire con il FrontEnd: • da un applicazioni client • da un browser Web • da un motore di workflow (es. Galaxy, Taverna, LONI, ...) • da una combinazione di quanto sopra • BackEnd: è un demone configurabile che manda in esecuzione i jobs ed invia le notifiche all'utente. • WebDav: server usato come repository per lo scambio di file con l’utente. 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 6 Pasquale Notarangelo – INFN Bari
  • 7.
    JST – JobSubmission Tool 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 7 Pasquale Notarangelo – INFN Bari • Ad esecuzione terminata JST invia una mail all’utente con: • Informazioni circa l’esito dell’esecuzione • Link per il download dei risultati
  • 8.
    Galaxy workflow managentsystem • Galaxy è un open source, web- based Workflow Management System (WFMS), scritto in Python, tramite cui è possibile prevalentemente eseguire, riprodurre e condividere analisi biomediche. • Nel nostro centro di calcolo è stata installata e personalizzata un’istanza di Galaxy implementando una suite di tools dedicati. • In particolare è stato realizzato il workflow dell’applicazione BioMaS nelle sue due versioni Illumina e 454. 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 8 Pasquale Notarangelo – INFN Bari http://galaxy.cloud.ba.infn.it:8080/root
  • 9.
    ReCaS Science Gateway •Nell’ambito del PON ReCaS è stata installata, presso l’INFN-Bari, un’istanza del Recas Science Gateway basata sul framework Liferay. • Dal portale è possibile accedere in maniera semplice all'Infrastruttura Grid/Cloud ed eseguire, mediante le risorse disponibili, diverse applicazioni tra cui: • BioMaS (Applicazione di metagenomica) • MsaPAD (Applicazione di filogenetica) • Medical Physics (Applicazione di imaging medico) 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 9 Pasquale Notarangelo – INFN Bari https://recasgateway.ba.infn.it/
  • 10.
    ReCaS Science Gateway •Il portale supporta diverse forme di autenticazione basate sul meccanismo di autenticazione federata. • È possibile accedere tramite: • Account social (gmail, facebook, …) • Account istituzionali aderenti alla federazione 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 10 Pasquale Notarangelo – INFN Bari Login
  • 11.
    Applicazioni in ReCaSScience Gateway 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 11 Pasquale Notarangelo – INFN Bari • Medical Phisycs è il frontend sviluppato dal gruppo di lavoro (Uniba e INFN-Bari) che studia le neuro immagini ed è rivolta alla comunità di fisica medica. • Attraverso l’applicazione web è possibile, data un’immagine di risonanza magnetica, l’estrazione automatica del cervello ed il calcolo del volume intracranico e la segmentazione dell’ippocampo. • Avvalendosi della ReCaS farm sono stati fortemente ottimizzati i tempi computazionali (da giorni a ore) • Lo scorso settembre i metodi sviluppati sono stati premiati al workshop internazionale promosso dalla Harward Medical School (MICCAI 2014 - Boston)
  • 12.
    Applicazioni in ReCaSScience Gateway 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 12 Pasquale Notarangelo – INFN Bari • Medical Phisycs è il frontend sviluppato dal gruppo di lavoro (Uniba e INFN-Bari) che studia le neuro immagini ed è rivolta alla comunità di fisica medica. • Attraverso l’applicazione web è possibile, data un’immagine di risonanza magnetica, l’estrazione automatica del cervello ed il calcolo del volume intracranico e la segmentazione dell’ippocampo. • Avvalendosi della ReCaS farm sono stati fortemente ottimizzati i tempi computazionali (da giorni a ore) • Lo scorso settembre i metodi sviluppati sono stati premiati al workshop internazionale promosso dalla Harward Medical School (MICCAI 2014 - Boston) Esempio di output
  • 13.
    Applicazioni in ReCaSScience Gateway 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 13 Pasquale Notarangelo – INFN Bari
  • 14.
    Applicazioni in ReCaSScience Gateway 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 14 Pasquale Notarangelo – INFN Bari
  • 15.
    Esempio di outputdi BioMaS 19/12/2014 - Bari BiP Day - Seconda Giornata della Bioinformatica Pugliese 15 Pasquale Notarangelo – INFN Bari
  • 16.
    Supporto agli utentinella Farm Recas di Bari Email condivisa fra amministratori —> supporto utenti (bc2s.help@gmail.com) Mailing list Utenti/Amministratori —> Forum + supporto utenti (bc2s-users@lists.ba.infn.it) Account Skype condiviso fra amministratori —> supporto utenti (bc2s.support) Sistema di Ticketing con Redmine —> supporto utenti (http://redmine.ba.infn.it:3000/projects/bc2s/issues) Form online richiesta VM UNIBA (https://docs.google.com/forms/d/1siDKrV3OUZmp1NE2ja2J6qefXcxkJp5wgUYX2yFs6zE/viewform) Account Facebook (https://www.facebook.com/RecasBari) Account Twitter (https://twitter.com/RecasBari)