SlideShare a Scribd company logo
1 of 25
Download to read offline
Les données ouvertes du SEAO :
un cas dans le réseau de l’éducation
François Belleau
Direction de la gouvernance et de la gestion des ressources
informationnelles dans les réseaux
2015-11-17
Rôle de la DGGRIR
● La DGGRIR est notamment responsable
○ de l’application de la loi 133 dans les réseaux de l’éducation
○ la transposition de la stratégie gouvernementale en RI
○ de la sécurité de l’information
● Pour les 3 réseaux :
○ Commissions scolaires, cégeps, Universités : 140 organismes
● L’équipe fait une veille des contrats attribués sur le SEAO.
● En 2015, le portefeuille de projets des réseaux de l’éducation compte 1700
projets d’une valeur totale de 500 M$.
● Parmi eux, 600 projets de plus de 100 k$ font l’objet d’une reddition de
compte détaillée.
● La DGGRIR doit faire le lien entre les contrats SEAO et les projets TI.
SEAO : Système électronique d’appel d’offres du
gouvernement du Québec
https://www.seao.ca/
4 projets exploitant les données ouvertes du SEAO
Pourquoi en développer un autre ?
● Quels sont les projets d’implantation d’un réseau sans-
fil dans les institutions du réseau de l’éducation ?
○ Qui sont les principaux fournisseurs ?
○ Combien ça coûte ?
○ Est-ce une tendance ?
Pour y répondre, un moteur de recherche analytique capable
d'agréger les données est nécessaire.
Tableau de bord SEAO de la DGGRIR
Elasticsearch est un moteur de
recherche analytique basé sur Lucene
qui fonctionne sur une grappe de
serveurs.
Qui utilise Elasticsearch ?
● Le tableau de bord de la DGGRIR est réalisé avec les
logiciels libres :
○ Talend
○ Elasticsearch
○ Kibana
● Les données ouvertes du SEAO y sont importées.
Voici comment on s’y prend...
5 étapes
1. Trouver les données ouvertes
2. Télécharger les données ouvertes
3. Transformer les données (ETL Talend Open
Studio)
4. Charger les données dans un moteur de
recherche analytique (grappe Elasticsearch)
5. Exploiter les données (Kibana)
Trouvez les données
Télécharger les données ouvertes,
500 Mo de XML
Transformer les données XML en JSON avec Talend
Charger les données dans Elasticsearch
Grappe Elasticsearch de 4 serveurs
Explorer les données dans Kibana
Chercher dans les données
Visualiser les données
Assembler un tableau de bord
Et voilà !
● Trois logiciels libres à retenir pour exploiter des
données ouvertes :
○ Grappe de données avec Elasticsearch
■ https://www.elastic.co/products/elasticsearch
○ ETL avec Talend Open Studio for Data Integration
■ http://www.talend.com/products/data-integration
○ Tableau de bord avec Kibana
■ https://www.elastic.co/products/kibana
Publication de données ouvertes avec Elasticsearch
Remerciements
Mes collègues de la DGGRIR
Les programmeurs
Sébastien Harvey@SAAQ
Omer Roland Quenum@ulaval
Depuis 2013, la vision du W3C: DATA ACTIVITY
web sémantiqueeGouvernement
web des données

More Related Content

Similar to 2015-11-17 Présentation SEAO et ES

Analyse géodécisionnelle du commerce international et transfrontalier en plan...
Analyse géodécisionnelle du commerce international et transfrontalier en plan...Analyse géodécisionnelle du commerce international et transfrontalier en plan...
Analyse géodécisionnelle du commerce international et transfrontalier en plan...
ACSG - Section Montréal
 
Jll2013 le centre d’expertise en logiciels libres du gouvernement du québec
Jll2013 le centre d’expertise en logiciels libres du gouvernement du québecJll2013 le centre d’expertise en logiciels libres du gouvernement du québec
Jll2013 le centre d’expertise en logiciels libres du gouvernement du québec
LinuQ
 
Baina bigdata le futur eldorado
Baina bigdata le futur eldoradoBaina bigdata le futur eldorado
Baina bigdata le futur eldorado
Karim Baïna
 

Similar to 2015-11-17 Présentation SEAO et ES (20)

Santé : accélérez avec la puissance du calcul intensif - GENCI
Santé : accélérez avec la puissance du calcul intensif - GENCISanté : accélérez avec la puissance du calcul intensif - GENCI
Santé : accélérez avec la puissance du calcul intensif - GENCI
 
Comment l'intelligence artificielle améliore la recherche documentaire
Comment l'intelligence artificielle améliore la recherche documentaireComment l'intelligence artificielle améliore la recherche documentaire
Comment l'intelligence artificielle améliore la recherche documentaire
 
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon ConsultingDevcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
 
Analyse du commerce international et transfrontalier
Analyse du commerce international et transfrontalierAnalyse du commerce international et transfrontalier
Analyse du commerce international et transfrontalier
 
Introduction à Neo4j
Introduction à Neo4jIntroduction à Neo4j
Introduction à Neo4j
 
Tunis big data_meetup__21_nov2015__aymenzaafouri
Tunis big data_meetup__21_nov2015__aymenzaafouriTunis big data_meetup__21_nov2015__aymenzaafouri
Tunis big data_meetup__21_nov2015__aymenzaafouri
 
Étude comparative sur la valorisation du big data pour les contenus audiovisuels
Étude comparative sur la valorisation du big data pour les contenus audiovisuelsÉtude comparative sur la valorisation du big data pour les contenus audiovisuels
Étude comparative sur la valorisation du big data pour les contenus audiovisuels
 
Comment utiliser la data science pour soutenir et prioriser les actions de ré...
Comment utiliser la data science pour soutenir et prioriser les actions de ré...Comment utiliser la data science pour soutenir et prioriser les actions de ré...
Comment utiliser la data science pour soutenir et prioriser les actions de ré...
 
Les nouveaux moteurs de recherche - Search Foresight
Les nouveaux moteurs de recherche - Search ForesightLes nouveaux moteurs de recherche - Search Foresight
Les nouveaux moteurs de recherche - Search Foresight
 
Analyse géodécisionnelle du commerce international et transfrontalier en plan...
Analyse géodécisionnelle du commerce international et transfrontalier en plan...Analyse géodécisionnelle du commerce international et transfrontalier en plan...
Analyse géodécisionnelle du commerce international et transfrontalier en plan...
 
Formation professionnelle "Big data : concepts et enjeux"
Formation professionnelle "Big data : concepts et enjeux"Formation professionnelle "Big data : concepts et enjeux"
Formation professionnelle "Big data : concepts et enjeux"
 
Jll2013 le centre d’expertise en logiciels libres du gouvernement du québec
Jll2013 le centre d’expertise en logiciels libres du gouvernement du québecJll2013 le centre d’expertise en logiciels libres du gouvernement du québec
Jll2013 le centre d’expertise en logiciels libres du gouvernement du québec
 
Baina bigdata le futur eldorado
Baina bigdata le futur eldoradoBaina bigdata le futur eldorado
Baina bigdata le futur eldorado
 
Cours Big Data Part I
Cours Big Data Part ICours Big Data Part I
Cours Big Data Part I
 
IODS : Retour d’expériences au sein du Center for Data Science
IODS : Retour d’expériences au sein du Center for Data ScienceIODS : Retour d’expériences au sein du Center for Data Science
IODS : Retour d’expériences au sein du Center for Data Science
 
OnCrawl @ Digital Analytics Forum 2018 : le référencement naturel augmenté
OnCrawl @ Digital Analytics Forum 2018 : le référencement naturel augmentéOnCrawl @ Digital Analytics Forum 2018 : le référencement naturel augmenté
OnCrawl @ Digital Analytics Forum 2018 : le référencement naturel augmenté
 
Action Tank Data Responsable
Action Tank Data ResponsableAction Tank Data Responsable
Action Tank Data Responsable
 
Geek Time Juin 2017 : Microservices Tracing
Geek Time Juin 2017 : Microservices TracingGeek Time Juin 2017 : Microservices Tracing
Geek Time Juin 2017 : Microservices Tracing
 
SplunkLive! Paris 2018: Getting Data In
SplunkLive! Paris 2018: Getting Data InSplunkLive! Paris 2018: Getting Data In
SplunkLive! Paris 2018: Getting Data In
 
Data Breakfast : La transformation digitale à l'heure de la data
Data Breakfast : La transformation digitale à l'heure de la dataData Breakfast : La transformation digitale à l'heure de la data
Data Breakfast : La transformation digitale à l'heure de la data
 

More from François Belleau

More from François Belleau (20)

Bio2RDF @ DILS 2008
Bio2RDF @ DILS 2008Bio2RDF @ DILS 2008
Bio2RDF @ DILS 2008
 
Pitch Reactome2json_ld @ swat4hcls 2020
Pitch Reactome2json_ld @ swat4hcls 2020Pitch Reactome2json_ld @ swat4hcls 2020
Pitch Reactome2json_ld @ swat4hcls 2020
 
Show de boucane pour ELK
Show de boucane pour ELKShow de boucane pour ELK
Show de boucane pour ELK
 
Pitch Qliic coopérathon 2017
Pitch Qliic coopérathon 2017Pitch Qliic coopérathon 2017
Pitch Qliic coopérathon 2017
 
Linuq 20160130
Linuq 20160130Linuq 20160130
Linuq 20160130
 
textOdossier
textOdossiertextOdossier
textOdossier
 
BD2K hackathon - Bio2RDF submission
BD2K hackathon - Bio2RDF submissionBD2K hackathon - Bio2RDF submission
BD2K hackathon - Bio2RDF submission
 
Découvrir le web sémantique en 15 minutes (Decideo 2014)
Découvrir le web sémantique en 15 minutes (Decideo 2014)Découvrir le web sémantique en 15 minutes (Decideo 2014)
Découvrir le web sémantique en 15 minutes (Decideo 2014)
 
Bio2RDF poster for Biocurator 2014 conference
Bio2RDF poster for Biocurator 2014 conferenceBio2RDF poster for Biocurator 2014 conference
Bio2RDF poster for Biocurator 2014 conference
 
Acfas 2013 - Comment publier sur le web sémantique : la méthode de Bio2RDF
Acfas 2013 - Comment publier sur le web sémantique : la méthode de Bio2RDFAcfas 2013 - Comment publier sur le web sémantique : la méthode de Bio2RDF
Acfas 2013 - Comment publier sur le web sémantique : la méthode de Bio2RDF
 
Producing, publishing and consuming linked data - CSHALS 2013
Producing, publishing and consuming linked data - CSHALS 2013Producing, publishing and consuming linked data - CSHALS 2013
Producing, publishing and consuming linked data - CSHALS 2013
 
Bio2RDF presentation at Combine 2012
Bio2RDF presentation at Combine 2012Bio2RDF presentation at Combine 2012
Bio2RDF presentation at Combine 2012
 
Producing, Publishing and Consuming Linked Data Three lessons from the Bio2RD...
Producing, Publishing and Consuming Linked Data Three lessons from the Bio2RD...Producing, Publishing and Consuming Linked Data Three lessons from the Bio2RD...
Producing, Publishing and Consuming Linked Data Three lessons from the Bio2RD...
 
Bio2RDF@BH2010
Bio2RDF@BH2010Bio2RDF@BH2010
Bio2RDF@BH2010
 
Bio2RDF @ W3C HCLS2009
Bio2RDF @ W3C HCLS2009Bio2RDF @ W3C HCLS2009
Bio2RDF @ W3C HCLS2009
 
Bio2RDF-ISMB2008
Bio2RDF-ISMB2008Bio2RDF-ISMB2008
Bio2RDF-ISMB2008
 
Bio2RDF : A Semantic Web Atlas of post genomic knowledge about Human and Mouse
Bio2RDF : A Semantic Web Atlas of post genomic knowledge about Human and MouseBio2RDF : A Semantic Web Atlas of post genomic knowledge about Human and Mouse
Bio2RDF : A Semantic Web Atlas of post genomic knowledge about Human and Mouse
 
Bio2RDF should we do it
Bio2RDF should we do itBio2RDF should we do it
Bio2RDF should we do it
 
Bio2RDF: Towards A Mashup To Build Bioinformatics Knowledge System
Bio2RDF: Towards A Mashup To Build Bioinformatics Knowledge SystemBio2RDF: Towards A Mashup To Build Bioinformatics Knowledge System
Bio2RDF: Towards A Mashup To Build Bioinformatics Knowledge System
 
Bio2RDF/Virtuoso
Bio2RDF/VirtuosoBio2RDF/Virtuoso
Bio2RDF/Virtuoso
 

2015-11-17 Présentation SEAO et ES

  • 1. Les données ouvertes du SEAO : un cas dans le réseau de l’éducation François Belleau Direction de la gouvernance et de la gestion des ressources informationnelles dans les réseaux 2015-11-17
  • 2. Rôle de la DGGRIR ● La DGGRIR est notamment responsable ○ de l’application de la loi 133 dans les réseaux de l’éducation ○ la transposition de la stratégie gouvernementale en RI ○ de la sécurité de l’information ● Pour les 3 réseaux : ○ Commissions scolaires, cégeps, Universités : 140 organismes ● L’équipe fait une veille des contrats attribués sur le SEAO. ● En 2015, le portefeuille de projets des réseaux de l’éducation compte 1700 projets d’une valeur totale de 500 M$. ● Parmi eux, 600 projets de plus de 100 k$ font l’objet d’une reddition de compte détaillée. ● La DGGRIR doit faire le lien entre les contrats SEAO et les projets TI.
  • 3. SEAO : Système électronique d’appel d’offres du gouvernement du Québec https://www.seao.ca/
  • 4. 4 projets exploitant les données ouvertes du SEAO
  • 5. Pourquoi en développer un autre ? ● Quels sont les projets d’implantation d’un réseau sans- fil dans les institutions du réseau de l’éducation ? ○ Qui sont les principaux fournisseurs ? ○ Combien ça coûte ? ○ Est-ce une tendance ? Pour y répondre, un moteur de recherche analytique capable d'agréger les données est nécessaire.
  • 6. Tableau de bord SEAO de la DGGRIR
  • 7. Elasticsearch est un moteur de recherche analytique basé sur Lucene qui fonctionne sur une grappe de serveurs.
  • 9.
  • 10. ● Le tableau de bord de la DGGRIR est réalisé avec les logiciels libres : ○ Talend ○ Elasticsearch ○ Kibana ● Les données ouvertes du SEAO y sont importées. Voici comment on s’y prend...
  • 11. 5 étapes 1. Trouver les données ouvertes 2. Télécharger les données ouvertes 3. Transformer les données (ETL Talend Open Studio) 4. Charger les données dans un moteur de recherche analytique (grappe Elasticsearch) 5. Exploiter les données (Kibana)
  • 13. Télécharger les données ouvertes, 500 Mo de XML
  • 14. Transformer les données XML en JSON avec Talend
  • 15. Charger les données dans Elasticsearch
  • 17. Explorer les données dans Kibana
  • 18. Chercher dans les données
  • 22. ● Trois logiciels libres à retenir pour exploiter des données ouvertes : ○ Grappe de données avec Elasticsearch ■ https://www.elastic.co/products/elasticsearch ○ ETL avec Talend Open Studio for Data Integration ■ http://www.talend.com/products/data-integration ○ Tableau de bord avec Kibana ■ https://www.elastic.co/products/kibana
  • 23. Publication de données ouvertes avec Elasticsearch
  • 24. Remerciements Mes collègues de la DGGRIR Les programmeurs Sébastien Harvey@SAAQ Omer Roland Quenum@ulaval
  • 25. Depuis 2013, la vision du W3C: DATA ACTIVITY web sémantiqueeGouvernement web des données