La bioinformatica è una disciplina che analizza e gestisce i dati scientifici attraverso metodi computazionali, essenziale per trattare la vasta quantità di dati generati dalla ricerca, come nel caso del sequenziamento del genoma umano. Python è uno dei linguaggi più utilizzati in questo campo grazie alla sua sintassi chiara, all'accesso a librerie specifiche e alla sua versatilità nel programmare script per l'analisi dei dati biologici. Il lavoro di un bioinformatico include l'integrazione dei dati, la programmazione orientata agli oggetti e il testing, sfruttando strumenti e librerie open source per facilitare le operazioni necessarie.

1. Pycon.it 2009 Python e bioinformatica Giovanni Marco Dall'Olio Universitá Pompeu Fabra, Biologia Evolutiva, Barcelona

2. Bioinformatica E' la scienza che si occupa di analizzare e trattare tutti i dati prodotti dalla ricerca scientifica, tramite metodi computazionali

3. Nata negli anni '70, con lo sviluppo di un metodo per confrontare due sequenze di proteine (Matrici PAM)

4. Esplosione di dati scientifici Al giorno d'oggi si producono piú dati scientifici di quanto si riesca ad analizzare

5. Costi e tempi diminuiti rapidamente n. sequenze (GenBank) 2009 1996

6. Tipico esempio di bioinformatica Il sequenziamento del genoma umano nel 2001: CCGACGGTTTAACCGCGGGACCGACCTTTGAGAATATCGGTACTCGCGAGACGGATTATCTGTAGAGTGATCGTTGGAATTTGCTCGATAATCCCCCTCTGCTGGTGAACATGGGAAATAACGAGAACCCAAAATGCGTACCAGCTTCGCTCCAATATATAGTGGAGGCGCATCATACAATCCAGATCCTAACGCCCTAAGAGAAGATTGTCAGCCTCGAGTGCAACGATTGAGCGAGAGAGAAGATAGGGCGGTGAAGACTTTCTCTCAGATAATTCTAACTCTTCCGACTCAAAACGGCCTGTCAATGGCCTATGCGGAAGAGTATTGAGTATTGAACCTACGCGATCCTCAGTGTGGCGTGCGACGTCCTCACCAATGTTACGTAAGAGTTCTAACCGTTTTCTGGACCCCTAGCCAGGTGGTCAGGGGTACGAACTTTTAATCACCAATGTTACGTAAGAGTTCTAACCGTTTTCTGGACCCCTAGCCAGGTGGTCAGGGGTACGAACTTTTAAAGTGTTCGGCGAATCCCGAACGCCGTTAGTGGCGCACTCAAATTCCCCATCTAGGAGGTTTTCGTGATGTTAATATTTGCGCGAGGATACTTCACCAAGC....... Una enorme sequenza di 3*10^9 caratteri

7. Genoma umano Immaginate una sequenza come quella del genoma umano

8. Non é molto utile finché non la integriamo con altri dati

9. Che strumenti utilizzare per analizzarla?

10. Che approcci, che tecniche?

11. Esempio di annotazione CCGACGGTTTAACCGCGGGACCGACCTTTGAGAATATCGGTACTCGCGAGACGGATTATCTGTAGAGTGATCGTTGGAATTTGCTCGATAATCCCCCTCTGCTGGTGAACATGGGAAATAACGAGAACCCAAAATGCGTACCAGCTTCGCTCCAATATATAGT GGAGGCGCATCATACAA TCCAG ATCCTAACGCCC TAAGAGAAGATTGTCAGCCTCGAGTGCAACGATTGAGCGAGAGAGAAGATAGGGCGGTGAAGACTTTCTCTCAGATAATTCTAACTCTTCCGACTCAAAACGGC C TGTCAATGGCCTATGCGGAAGAGTATTGAGTATTGAACCTACGCGATCCTCAGTGTGGCGTGCGACGTCCTCACCA ATGTTACGTAAGAGTTCT AACCGTTTTCTGGACC CCTAGCCAGGTGGTCAGGG GTACGAACTTTTAAAGTGTTCGGCGAATCCCGAACGCCGTTAGTGGCGCACTCAAATTCCCCATCTAGGAGGTTTTCGTGATGTTAATATTTGCGCGAGGATACTTCACCAAGC....... Coding SNP ????

12. Bioinfo – altri casi d'uso Biologia strutturale: studiare strutture di proteine, predirle

13. Docking molecolare : simulare l'efficacia di una molecola come farmaco

14. Bioinfo – altri casi d'uso Data integration – ovvero riunire informazioni da piu' fonti

15. La maggior parte del lavoro di un bioinformatico consiste in questo Scaricare una lista di geni da un sito, le loro sequenze da un altro, ... Unire i risultati di piú esperimenti indipendenti

16. Altri esempi – presentare i dati La comunicazione via web é molto importante

17. Senza, sarebbe impossibile coordinare qualsiasi progetto di ricerca

18. Alcuni portali (ncbi, uniprot, …) mettono a disposizione dati e tool pubblici

19. Bioinformatica e programmazione La maggior parte delle persone che lavorano come bioinformatici ha un background in biologia Non molti programmatori professionisti Per molte operazioni mostrate nelle slide precedenti, non é necessario utilizzare linguaggi a basso livello

20. -> in bioinformatica sono molto diffusi linguaggi di scripting (perl, python, R, ...)

21. Python e bioinformatica Python é uno dei linguaggi piú utilizzati in bioinformatica www.bioinformatics.org survey Java Perl Python

22. Vantaggi di Python in bioinfo Sintassi chiara , documentazione

23. Facile da imparare

24. Ottimo per scripting

25. Librerie per database, testing, documentazione, calcolo scientifico

26. Orientato ad oggetti , ma multi-paradigma

27. Python e bioinformatica Curva d'apprendimento ☺☺☺☺☺ Facile da imparare ma potente Leggibilitá ☺☺☺☺☺ Testing ☺☺☺☺☺ Doctest, unittest, nose Comunitá open source ☺☺☺ BioPerl e BioConductor sono piu' ampi Paradigmi di programmazione ☺☺☺☺☺ Multi paradigma, OO Velocitá di esecuzione  Interpretato; Database ☺☺☺☺☺ Ottimi ORM (sqlalchemy), supporto ad altri tipi di db

28. Bioinformatica e programmazione Bioinformatica – un approccio diverso rispetto alla programmazione di un software Uso estensivo di scripts e moduli

29. Makefiles e simili per creare pipelines

30. Tests utilizzati anche per comunicare con non-programmatori

31. Continua necessitá di riadattare scripts

32. Bioinformatica e scripts Piu' che scrivere programmi completi, spesso si scrivono piccoli scripts e librerie Piú facili da scrivere

33. Piu' facili da riadattare Makefiles e simili posso essere utilizzati per creare pipelines

34. Esempio di pipeline (Makefile) all : get_sequences result1 result2 get_sequences : python download_sequence.py -gene 'XYZ' -database 'ncbi' -... python .... result1 : python calculate_result.py --input data1.txt result2 : data2.txt cut -f 1, 3 data2.txt > result2.txt

35. Esempio più complicato di pipeline mask(S) flat: S.masked run: RepeatMasker -lib $(RMLIB) S mask_then_blast(S,D) flat: S-results/S.D.blast.raw req: mask(S) blastindex(D) srun: blastall -p blastx -i ....... BioMake ( http://skam.sourceforge.net/skam-intro.html )

36. Testing usato per comunicare Immaginate che questo grafico sia il risultato di una vostra analisi

37. Come dimostrare che sia corretto?

38. Testing - esempio La parte piu' difficile di un esperimento é scegliere i controlli e i background corretti

39. In bioinformatica é la stessa cosa, solo che molto si fa al computer

40. Testing - esempio Abbiamo scritto un programma per leggere il formato Fasta e convertirlo al formato GenBank

41. Abbiamo scritto un programma per leggere il formato Fasta e convertirlo al formato GenBank, e testato il suo funzionamento corretto su un file con una sola sequenza, su un file con sequenze multiple, su un file corrotto.....

42. Python e testing Python ha delle buone librerie per il testing Doctest -> esempi inclusi nella documentazione

43. Unittest -> unit test classico con fixtures

44. Nosetest -> individua tutte le funzioni che assomigliano a tests e le esegue

45. doctest >>> help (say_hello) Help on function say_hello in module __main__: say_hello(name) print hello <name> to the screen example: >>> say_hello('Albert Einstein') hello Albert Einstein!!!

46. Doctest esempio 2 Le doctest sono comode per comunicare con un non-programmatore

47. unittest From unittest import * class SimpleFastaSeqCase(unittest.TestCase): @classmethod def setUpClass(cls): ..... @classmethod def tearDownClass(cls): ..... def setUp(self): ..... def tearDown(self): ..... def testCondition1(self): ..... def testCondition2(self): ..... Istruzioni da eseguire prima/dopo tutti i test Istruzioni da eseguire prima/dopo ogni test Tests

48. Python a oggetti Un genoma é composto da diversi cromosomi

49. Su ogni cromosoma possiamo individuare diversi elementi, come geni, fattori di regolazione, etc..

50. Ogni gene codifica per più trascritti, che a loro volta possono dare origine a più proteine

51. > la programmazione a oggetti si presta molto bene a rappresentare dati di tipo biologico\

52. Programmazione a oggetti - esempio genes = { 'gene1' : { 'position' : 10000, 'chromosome': 11, 'sequence' : 'GTAGCCTGATGAACGGGCTAGCATGC....' , 'transcripts' : { 'transcript1' : [......], 'transcript2' : [......], }, }, 'gene1' : { 'position' : ...........}, ..... } def get_subseq(genes, geneid, start, end): ''' get a subsequence of a gene, given a dictionary of gene annotations, a gene id, and start/end position ''' pass

53. Programmazione a oggetti - esempio genes = {'gene1': { 'position': 10000, 'chromosome': 11, 'sequence': 'GTAGCCTGATGAACGGGCTAGCATGC....', 'transcripts': { 'transcript1': [......], 'transcript2': [......], }, }, 'gene1': { 'position': ...........}, ..... } def get_subseq(genes, geneid, start, end): ''' get a subsequence of a gene, given a dictionary of gene annotations, a gene id, and start/end position ''' pass

54. Un oggetto in python class gene: def __init__ ( self ) : position = None sequence = '' transcripts = [] def get_subseq ( self , start, end ) : pass La sintassi di Python per gli oggetti é chiara e semplice

55. Più concisa di Java, inoltre non é obbligatorio usare OO

56. OO é piuttosto complicato in perl

57. Python and Java classes public class Gene { public int position; public str chromosome; public str transcripts[]; public Gene(int pos){ position = pos } public void getSubseq(int start, int end) { pass } class gene: def __init__(self,pos): self.position = pos self.sequence = '' self.transcripts = [] def get_subseq(self, start, end): pass (Una classe in python) (Una classe in Java) (non sono un programmatore Java!)

58. Lavorare con dati scientifici Un problema serio é quello di immagazzinare i dati e accedervi

59. diffusione di vari formati di testo

60. disputa tra flat files, database, e altri sistemi

61. Python e database Python ha ottimi moduli per gestire database relazionali Sqlalchemy, elixir.....

62. sqlalchemy example

63. Python e database Python ha ottimi moduli per gestire database relazionali Sqlalchemy, elixir..... I db relazionali non vanno sempre bene per gestire dati scientifici Rappresentare grafi?

64. Strutture gerarchiche?

65. Merging di insiemi di dati?

66. Grafi e database relazionali E' facile rappresentare un grafo in un db relazionale, ma difficile navigarlo (query ricorsive)

67. Problema comune in bioinformatica http://phenomics.cs.ucla.edu/

68. Strutture gerarchiche e db I db relazionali non sono adatti per rappresentare dati sequenziali

69. Difficile rappresentare 'sottosequenze' (o slice di stringhe)

70. Altri tipi di database Python ha delle buone librerie per interagire con altri tipi di database

71. db a oggetti: ZODB

72. db gerarchico: PyTables

73. ...

74. HDF5 HDF5 é un formato di file binario, usato un fisica e astronomia

75. Database gerarchico (tabelle dentro altre tabelle)

76. Ottime APIs in python (PyTables) SNP object - id - position - chromosome - genotypes individual genotype - allele1 - allele2 - stats population iHS Fst Nested tables

77. Librerie open source per la bioinformatica Vediamo qualche modulo di utilità generica..

78. Biopython Una collezione di moduli per la bioinformatica

79. Numero di funzionalitá implementate: bioconductor > bioperl > biopython > tutti gli altri Punti forti di Biopython: Supporto a diversi formati

80. APIs per entrez e alcuni database importanti

81. Pdb / strutture

82. Biopython Esempi # Leggere un file in formato fasta e salvarlo in un dizionario from Bio.SeqIO import SeqIO seqfile = open('fastafile.fa', 'r') sequences = SeqIO.to_dict(SeqIO.parse(seqfile)) # Query NCBI results = Entrez.esearch(db='nucleotide', term='cox2') Entrez.read(results)

83. Pygr Ottimo per analisi su genomi

84. Punti forti Nasconde il problema del salvataggio di dati (database, files)

85. Usare e configurare blast locali

86. Creare annotazioni

87. Interfaccia con ncbi, ensembl, ucsc

88. Pygr esempi # Ensembl APIs serverRegistry = get_registry( host= 'ensembldb.ensembl.org', user='anonymous') coreDBAdaptor = serverRegistry.get_DBAdaptor( 'homo_sapiens', 'core', '47_36i') sequence = coreDBAdaptor.fetch_slice_by_seqregion( coordSystemName, seqregionName) # Scarica la seq del genoma umano da ucsc(18) import pygr.Data hg18 = pygr.Data.Bio.Seq.Genome.HUMAN.hg18( download=True)

89. Scientific Python Numpy : modulo per calcolo numerico (array, matrici..)

90. Scipy : calcolo matematico avanzato, test statistici..

91. Matplotlib : plottare grafici

92. Alcune alternative: sage

93. rpy (interfaccia a R)

94. Numpy/Scipy example Note: ipython -pylab per trasformare python in un ambiente simile a R

95. Svantaggi di Python in bioinfo La comunitá open source di Python é attiva, ma quelle di Perl e R lo sono di più

96. In alcuni campi, mancano ancora buone librerie

97. Problemi con multi-threading

98. Problemi della bioinfo Mentalitá 'Publish or Perish' dopo aver pubblicato, programmi e database vengono abbandonati Il testing é poco diffuso, difficile riconoscere gli errori Molti scripts non sono inclusi nelle pubblicazioni! Poca cultura su software engineering

99. Babele di formati/database/scripts

100. Grazie per l'attenzione!! Ringraziamenti: Bologna biocomp group

101. molecularlab.it

102. Biologia evolutiva UPF

103. nodalpoint.org and all bioinfo bloggers

104. Fine talk

105. Sequenziamento genoma umano Immaginate una sequenza grande come il genoma umano

106. Come trarre ordine da una massa di dati come questa?

107. Come associare un gene ad una posizione, sequenza?

108. Che strumenti? Che tecniche?

109. Che approcci?

110. Esempio di annotazione di una sequenza Annotazione di una sequenza -> identificiare posizioni di geni, fattori di regolazione, ...

111. Esempio di esperimento bioinformatico Ipotesi : il gene XYZ è conservato in uomo e topo.

112. Assunzioni : I genomi di entrambi gli organismi sono stati sequenziati con lo stesso livello di qualità;

113. ....

114. ....

115. Esempio di esperimento bioinformatico Per dimostrare che il gene XYZ é conservato in entrambe le specie, potrei scrivere diversi scripts: download_sequences.py

116. check_sequences.py

117. compare_length.py Il modo più semplice di organizzare una pipeline é tramite Make o tool simili