Open Legislative Data Conference 2014
•
2 likes•504 views
Presentation by Nicolas Chauvat at "Fabrique de la Loi" 2014 (Open Legislative Data Conference) Mirror of http://www.logilab.org/file/253393/raw/OLDC2014-chauvat.pdf Blog entry : http://www.logilab.org/blogentry/253397
Report
Share
Report
Share
Download to read offline
Recommended
Big data for bay area big data developer
Global Big Data Conference is offering 3 day extensive Developer conference on Big Data. This is a fast paced, vendor agnostic, technical overview of the Big Data landscape.
Building search and discovery services for Schibsted (LSRS '17)
Presentation given at the Large Scale Recommender Systems workshop (LSRS) in Recsys 2017.
This presentation describes the search and discovery products we are working on in Schibsted for the domains of news and marketplaces as well as the challenges within each of these domains. It also covers how we bring these services into production including the system architecture and deployment process.
Spark for bay area big data developer
Global Big Data Conference is offering 3 day extensive Developer conference on Big Data. This is a fast paced, vendor agnostic, technical overview of the Big Data landscape.
This week in Neo4j - 24th March 2018
Discover what's new in the Neo4j community for the week of 24 March 2018, including an interview with Dr Jim Webber about Knowledge Graphs and Modern AI, lots of resources for learning about GraphQL and Neo4j, and the Open Beer DB Graph.
Cassandra for bay area big data developer
Global Big Data Conference is offering 3 day extensive Developer conference on Big Data. This is a fast paced, vendor agnostic, technical overview of the Big Data landscape. No prior knowledge of databases or programming is assumed.
Blockchain in the Food Supply Chain
This talk was held at the Azure Meetup Munich on March, 15th.
In a joint development iBERA AG and Microsoft have developed a solution for the industry of food trade to exchange lab reports for pesticides and other relevant documents confirming the quality of food. Those documents go a long way from the original farmer over transport companies until finally to the food retailing. iBERA has the knowledge and hardware to check food fast for pesticides and Microsoft supported creating a solution to save documents in the cloud and to exchange them tamperproof.
This talk gives insights into this joint project, the motivations and decisions, the architecture, and how we built it.
Peter Kirchner is Software Engineer in Commercial Software Engineering (CSE) at Microsoft. CSE's purpose is to build together with customers and partners on new products and solutions.
Blockchain in the Food Supply Chain (v2)
This talk was held at the Azure Meetup Berlin on March, 28th. It's the second version of this talk.
In a joint development iBERA AG and Microsoft have developed a solution for the industry of food trade to exchange lab reports for pesticides and other relevant documents confirming the quality of food. Those documents go a long way from the original farmer over transport companies until finally to the food retailing. iBERA has the knowledge and hardware to check food fast for pesticides and Microsoft supported creating a solution to save documents in the cloud and to exchange them tamperproof.
This talk gives insights into this joint project, the motivations and decisions, the architecture, and how we built it.
Peter Kirchner is Software Engineer in Commercial Software Engineering (CSE) at Microsoft. CSE's purpose is to build together with customers and partners on new products and solutions.
This week in Neo4j - 14th October 2017
Discover what's new in the Neo4j community for the week of 14 October 2017, including projects around Ethereum, graph visualization, & recommender systems.
Recommended
Big data for bay area big data developer
Global Big Data Conference is offering 3 day extensive Developer conference on Big Data. This is a fast paced, vendor agnostic, technical overview of the Big Data landscape.
Building search and discovery services for Schibsted (LSRS '17)
Presentation given at the Large Scale Recommender Systems workshop (LSRS) in Recsys 2017.
This presentation describes the search and discovery products we are working on in Schibsted for the domains of news and marketplaces as well as the challenges within each of these domains. It also covers how we bring these services into production including the system architecture and deployment process.
Spark for bay area big data developer
Global Big Data Conference is offering 3 day extensive Developer conference on Big Data. This is a fast paced, vendor agnostic, technical overview of the Big Data landscape.
This week in Neo4j - 24th March 2018
Discover what's new in the Neo4j community for the week of 24 March 2018, including an interview with Dr Jim Webber about Knowledge Graphs and Modern AI, lots of resources for learning about GraphQL and Neo4j, and the Open Beer DB Graph.
Cassandra for bay area big data developer
Global Big Data Conference is offering 3 day extensive Developer conference on Big Data. This is a fast paced, vendor agnostic, technical overview of the Big Data landscape. No prior knowledge of databases or programming is assumed.
Blockchain in the Food Supply Chain
This talk was held at the Azure Meetup Munich on March, 15th.
In a joint development iBERA AG and Microsoft have developed a solution for the industry of food trade to exchange lab reports for pesticides and other relevant documents confirming the quality of food. Those documents go a long way from the original farmer over transport companies until finally to the food retailing. iBERA has the knowledge and hardware to check food fast for pesticides and Microsoft supported creating a solution to save documents in the cloud and to exchange them tamperproof.
This talk gives insights into this joint project, the motivations and decisions, the architecture, and how we built it.
Peter Kirchner is Software Engineer in Commercial Software Engineering (CSE) at Microsoft. CSE's purpose is to build together with customers and partners on new products and solutions.
Blockchain in the Food Supply Chain (v2)
This talk was held at the Azure Meetup Berlin on March, 28th. It's the second version of this talk.
In a joint development iBERA AG and Microsoft have developed a solution for the industry of food trade to exchange lab reports for pesticides and other relevant documents confirming the quality of food. Those documents go a long way from the original farmer over transport companies until finally to the food retailing. iBERA has the knowledge and hardware to check food fast for pesticides and Microsoft supported creating a solution to save documents in the cloud and to exchange them tamperproof.
This talk gives insights into this joint project, the motivations and decisions, the architecture, and how we built it.
Peter Kirchner is Software Engineer in Commercial Software Engineering (CSE) at Microsoft. CSE's purpose is to build together with customers and partners on new products and solutions.
This week in Neo4j - 14th October 2017
Discover what's new in the Neo4j community for the week of 14 October 2017, including projects around Ethereum, graph visualization, & recommender systems.
Abstract Empresas De Software Colombia 2008
María Carolina Galvis Avellaneda
galvisave@gmail.com
Octavia Consultores
Bogotá, Colombia.
Decreto de interpretación auténtica art. 1 de Disposiciones Excepcionales y T...
Decreto de interpretación auténtica art. 1 de Disposiciones Excepcionales y T...Ana Vilma de Escobar
Testinfra pyconfr 2017
Testinfra test your infrastructure par Philippe Pepiot, auteur et mainteneur de testinfra, développeur et administrateur système au sein de Logilab
Open Source & Open Data : les bienfaits des communs
Le monde du logiciel a été précurseur en réintroduisant un mode de production "coopératif" dès le début des années 80.
Avec le mouvement de l'Open Data, cette coopération s'est étendue à la production des données.
On parle ici de biens communs dans le sens d'un "bien partagé par les membres d'une même communauté".
Salon Open Data
Le 1er salon professionnel de l'open data qui vise à consolider la filière française des données ouvertes. Ce salon valorise les acteurs positionnés sur l'open data et assure l'information des participants à travers des retours d'expériences, conférences stratégiques, ateliers pratiques et mises en relations directe avec les prestataires et ceux qui font l'open data aujourd'hui en France.
Pydata Paris Python for manufacturing musical instruments
Pydata Paris Python for manufacturing musical instruments.
Context: making and repair of musical instruments.
Assets: traditional craftsmanship ; world-famous quality
Challenge: aggressive competition from foreign countries
Présentation Logilab
Olivier Cayrol a présenté la société Logilab et ses services à l'occasion de la Semaine de l'Industrie.
Logilab : un industriel du logiciel
- développement
- conseil
- formation
- expertise
Système d'archivage électronique mutualisé
Les archives du département de la Gironde, de la Ville de Bordeaux et de la Métropole de Bordeaux ont mis en place un système d'archivage mutualisé leur permettant de gérer leurs documents tout au long de leur cycle de vie, depuis leur conception initiale jusqu'à leur archivage. Ce système repose sur diverses applications logiciel libre prenant chacune en charge une partie du cycle de vie des documents (Alfresco pour la GED courante, Asalae pour l'archivage, etc.)
Dans le cadre de ce système, lors du passage d'un outil à l'autre, un grand nombre de métadonnées sont perdues et doivent donc être ressaisies. D'où l'idée de mettre en place un référentiel commun qui va constituer un pivot sur lequel s'appuient les autres outils, et qui va conserver et enrichir les métadonnées d'un document tout au long de son cycle de vie, au fil de ses passages d'une application à l'autre. Ces métadonnées sont, par exemple, le rangement dans des
plans de classement, les agents étant intervenus sur le document, les étapes du processus de validation, etc.)
Dans le cadre d'un marché public, Logilab développe le référentiel commun du système d'archivage pour le compte du Conseil Départemental de la Gironde, de la Métropole de Bordeaux et de la Ville de Bordeaux.
La présentation présente l'outil logiciel libre qui a vocation à être partagé avec d'autres institutions rencontrant une problématique similaire, mais également de revenir sur le projet lui-meme qui implique de nombreux acteurs et a été géré avec une méthode agile et divers outils innovants (MVP, UX Design, etc.)
Voir http://saem.e-bordeaux.org/projet-module-r%C3%A9f%C3%A9rentiel pour plus de détails.
Utiliser salt pour tester son infrastructure sur open stack ou docker
Vous pouvez accéder à cette présentation sur ce lien : http://slides.logilab.fr/2015/poss2015_salt-docker/#/
Configurer et orchestrer son infrastructure avec un outil de gestion de configuration centralisée tel que Salt comporte de nombreux avantages.
La conservation et l'historisation des fichers de configuration dans un entrepôt de source geré par un DVCS (mercurial ou git) en fait partie.
Salt permet ensuite de faire évoluer son infrastructure en la testant dans des environements isolés. Une fois la description complète, reproduire une partie de son infrastructure de production sur un environnement virtualisé tel qu'un cloud
privé (OpenStack) devient possible et automatisable avec
*salt-cloud*. L'étape suivante est de pouvoir reproduire des portions de son infrastructure dans des conteneurs légers tels que docker ou lxc directement sur son portable. Pour cela, le pilotage de docker par salt et les fonctionnalités d'orchestration de salt permettent une agilité sans précédent.
Il s'agit d'un bon complément pour le TDI : Test Driven Infrastructure. L'infrastructure est testée en mode "intégration continue" et on peut tester et débugger une partie de l'infrastructure en mode "bac à sable".
Ce modèle peut ensuite être décliné avec l'utilisation des branches dans git ou mercurial où certaines branches vont être appliquées à la partie production de l'infrastructure alors que d'autres sont appliqués a la préproduction ou aux environnements docker ou lxc en local.
Salt est un outil de gestion de configuration centralisé généralement utilisé pour configurer et orchestrer son infrastructure système en bénéficiant de la conservation et de l'historisation des fichiers de configuration dans un entrepôt source géré par mercurial ou git. Toutefois, les possibilités offertes par Salt vont beaucoup plus loin. Une fois la description Salt de l'infrastructure de production terminée, il est possible d'en reproduire automatiquement tout ou partie
avec salt-cloud dans un environnement virtualisé (cloud privé OpenStack) et ainsi de pouvoir mener des tests. En allant plus loin, il est possible de reproduire des portions d'infrastructure dans des conteneurs légers (docker, lxc) et de travailler directement sur son ordinateur portable.
Les fonctionnalités d'orchestration de Salt et son pilotage de docker amènent une agilité sans précédent dans ce processus de travail.
Dans le modèle décrit ci-dessus, excellent complément du TDI (Test-Driven Infrastructure), l'infrastructure est testée et déboguée en mode "bac à sable" puis déployée selon un mécanisme automatisé d'intégration continue. Le modèle peut être décliné en utilisant des branches dans l’entrepôt source de Salt et en choisissant quelles branches sont appliquées
à l'infrastructure en production, en pré-production ou en test dans les environnements locaux (docker, lxc). Des mécanismes de relecture et de validation peuvent alors être mis en œuvre.
Importer des données en Python avec CubicWeb 3.21
Slides en version HTML : http://slides.logilab.fr/2015/pyconfr2015_import_donnees_cubicweb/
Nous introduirons une nouvelle méthode pour importer des données externes (service REST, fichier, etc.) dans une application. Simple et flexible, elle favorise la réutilisation des composants afin de se concentrer sur ce qui est spécifique à chaque cas. Un exemple d'implémentation sera donné avec le framework CubicWeb 3.21 qui introduit une API d'import de données fondée sur cette méthode.
Abstract
Il est courant pour un développeur de devoir implémenter des fonctionnalités d'import de données. Les utilisateurs peuvent en effet avoir besoin de données disponibles par ailleurs, dans un tableur par exemple, dans une autre base, ou accessibles par des services web. Nous introduisons ici une méthode simple pour réaliser cela en favorisant la généricité et la ré-utilisabilité des composants développés.
Un flux personnalisable d'entités
L'idée est de transformer petit à petit les données externes afin de les rendre compatibles avec le schéma de l'application et donc insérables en base.
Le principe est de commencer par stocker les données de la source sur une «[HTML_REMOVED]entité externe[HTML_REMOVED]». Puis on utilise des générateurs Python pour créer un «[HTML_REMOVED]flux[HTML_REMOVED]» d'entités[HTML_REMOVED]: chaque entité passe de fonction en fonction, ce qui va la transformer peu à peu pour la rapprocher du modèle attendu et qu'elle soit finalement prête à être insérée, ou au contraire rejetée si ce n'est pas possible.
L'étape d'insertion est alors identique, quelle que soit la source d'où proviennent les données.
Exemple avec CubicWeb 3.21
Avec sa version 3.21 sortie en 2015, le framework CubicWeb dispose d'une toute nouvelle API fondée sur cette méthode. Elle permet au développeur de se concentrer sur le flux de données provenant des sources qui l'intéressent.
De plus, l'étape d'insertion offre plusieurs composants interchangeables. En fonction du compromis qu'il souhaite faire entre sécurité et rapidité, le développeur peut choisir entre une insertion sûre mais lente, où chaque entité à insérer est préalablement vérifiée quant au type de ses données et la validité de ses relations, et une insertion plus rapide mais pouvant échouer, où les entités sont insérées en masse.
Tout cela sera illustré par le moissonnage des données de portails Open Data. La diversité des formats (RDF (open-data.europa.eu), REST (data.gouv.fr, OpenDataSoft), CSW (geocatalogue.fr), etc.) ainsi que des modèles de données impose de créer des flux différents afin que toutes ces données puissent être importées dans un schéma unique de CubicWeb.
De la même façon, un autre exemple sera l'import de données SKOS où des thesaurus entiers sont importés dans CubicWeb grâce à cette API.
Simulagora au service d'un grand défi industriel
La prédiction en temps réel de la dispersion accidentelle d'un polluant dans l'air
Simulagora - Salon du Bourget
Simulagora, met la simulation numérique à la portée de tous !
Simulagora est un service Web de simulation numérique dans le cloud permettant la réalisation de calculs d'envergure sans investissement :
- pas de matériel dédié : une connexion à Internet suffit,
- pas de connaissances poussées en informatique : les principaux codes de calcul libres sont pré-installés,
- pas d'investissement financier : le paiement se fait à l'usage.
Simulagora donne accès à la puissance quasi-illimitée des nuages publics :
- lancez vos calculs exigeants sur des machines ayant jusqu'à 32 CPU et 120 Go RAM,
- obtenez le résultat de vos études paramétriques en un temps record en utilisant plusieurs centaines de machines simultanément.
Simulagora n'est pas un service d'exécution de calcul comme les autres :
- il s'insère dans vos processus actuels (script, terminal, interface Web),
- il enregistre l'historique de vos calculs pour assurer leur capitalisation et leur traçabilité,
- il garantit la reproductibilité de vos calculs, en conservant une copie de la machine virtuelle sur laquelle ils ont été exécutés,
- son interface Web permet une collaboration entre les différents experts pour mener à bien vos études numériques les plus pointues.
Simulagora est un produit de Logilab qui, depuis 15 ans, met les technologies du Web au service de l'informatique scientifique.
Simulagora, sets numerical simulation available to all!
Simulagora is a cloud-based numerical simulation service which allows computations without any up-front investment:
- No dedicated hardware: only an Internet connection is needed
- No advanced IT knowledge: major free software packages are pre-installed and ready-to-use
- No financial investment: pay only for used resources.
Simulagora provides access to the virtually unlimited power of public clouds:
- Start your complex computations on machines with up to 32 CPUs and 120GB of RAM
- Get the results of your parametric studies in record time using hundreds of machines simultaneously.
Simulagora is a one-of-a-kind computation execution service:
- Easy to fit into your existing processes (scripts, terminal applications, Web interface)
- Saves your computations history to ensure their traceability and maximize their capitalization
- Guarantees the reproducibility of your computations by keeping a copy of the virtual machines on which they ran
- Enables collaboration among experts using the Web interface to carry out your most precise digital studies.
Simulagora is a service built by Logilab, a 15-year veteran of Web technologies for scientific computing.
Innover par et pour la donnée - Logilab ADBU Bibcamp 2015
Innover par et pour la donnée, illustrée par l'exemple de data.bnf.fr et les principes du web sémantique.
Présentation de Logilab au #bibcamp15 organisé en juin 2015 par l'ADBU, association des directeurs de bibliothèques universitaires.
Study of the dynamic behavior of a pump with Code_ASTER on Simulagora
Simulagora is a platform using Web technology to ease grid
computation by leveraging cloud resources.
Public cloud based
– Computation and storage resources
– Enormous power
– Super-fast computation resources ramp-up
Initialiser des conteneurs Docker à partir de configurations Salt construites...
Utilisation conjointe de Salt Mercurial
et Docker, et comment appliquer les bonne pratiques
des méthodes de programmations aux conteneurs.
Battle Opendata - Logilab - Cubicweb
Support de présentation lors de notre participation au "Battle" organisé par LibertTIC et DataLab à la ruche numérique du Mans.
Version PDF : http://www.logilab.fr/file/2221/raw/Battle%20Opendata.pdf
Debconf14 : Putting some salt in your Debian systems -- Julien Cristau
Salt allows scalable infrastructure management, including provisioning new systems and managing them over their lifetime. In this talk I'll show how it makes managing Debian systems easier.
More Related Content
Viewers also liked
Abstract Empresas De Software Colombia 2008
María Carolina Galvis Avellaneda
galvisave@gmail.com
Octavia Consultores
Bogotá, Colombia.
Decreto de interpretación auténtica art. 1 de Disposiciones Excepcionales y T...
Decreto de interpretación auténtica art. 1 de Disposiciones Excepcionales y T...Ana Vilma de Escobar
Viewers also liked (7)
Decreto de interpretación auténtica art. 1 de Disposiciones Excepcionales y T...
Decreto de interpretación auténtica art. 1 de Disposiciones Excepcionales y T...
More from Logilab
Testinfra pyconfr 2017
Testinfra test your infrastructure par Philippe Pepiot, auteur et mainteneur de testinfra, développeur et administrateur système au sein de Logilab
Open Source & Open Data : les bienfaits des communs
Le monde du logiciel a été précurseur en réintroduisant un mode de production "coopératif" dès le début des années 80.
Avec le mouvement de l'Open Data, cette coopération s'est étendue à la production des données.
On parle ici de biens communs dans le sens d'un "bien partagé par les membres d'une même communauté".
Salon Open Data
Le 1er salon professionnel de l'open data qui vise à consolider la filière française des données ouvertes. Ce salon valorise les acteurs positionnés sur l'open data et assure l'information des participants à travers des retours d'expériences, conférences stratégiques, ateliers pratiques et mises en relations directe avec les prestataires et ceux qui font l'open data aujourd'hui en France.
Pydata Paris Python for manufacturing musical instruments
Pydata Paris Python for manufacturing musical instruments.
Context: making and repair of musical instruments.
Assets: traditional craftsmanship ; world-famous quality
Challenge: aggressive competition from foreign countries
Présentation Logilab
Olivier Cayrol a présenté la société Logilab et ses services à l'occasion de la Semaine de l'Industrie.
Logilab : un industriel du logiciel
- développement
- conseil
- formation
- expertise
Système d'archivage électronique mutualisé
Les archives du département de la Gironde, de la Ville de Bordeaux et de la Métropole de Bordeaux ont mis en place un système d'archivage mutualisé leur permettant de gérer leurs documents tout au long de leur cycle de vie, depuis leur conception initiale jusqu'à leur archivage. Ce système repose sur diverses applications logiciel libre prenant chacune en charge une partie du cycle de vie des documents (Alfresco pour la GED courante, Asalae pour l'archivage, etc.)
Dans le cadre de ce système, lors du passage d'un outil à l'autre, un grand nombre de métadonnées sont perdues et doivent donc être ressaisies. D'où l'idée de mettre en place un référentiel commun qui va constituer un pivot sur lequel s'appuient les autres outils, et qui va conserver et enrichir les métadonnées d'un document tout au long de son cycle de vie, au fil de ses passages d'une application à l'autre. Ces métadonnées sont, par exemple, le rangement dans des
plans de classement, les agents étant intervenus sur le document, les étapes du processus de validation, etc.)
Dans le cadre d'un marché public, Logilab développe le référentiel commun du système d'archivage pour le compte du Conseil Départemental de la Gironde, de la Métropole de Bordeaux et de la Ville de Bordeaux.
La présentation présente l'outil logiciel libre qui a vocation à être partagé avec d'autres institutions rencontrant une problématique similaire, mais également de revenir sur le projet lui-meme qui implique de nombreux acteurs et a été géré avec une méthode agile et divers outils innovants (MVP, UX Design, etc.)
Voir http://saem.e-bordeaux.org/projet-module-r%C3%A9f%C3%A9rentiel pour plus de détails.
Utiliser salt pour tester son infrastructure sur open stack ou docker
Vous pouvez accéder à cette présentation sur ce lien : http://slides.logilab.fr/2015/poss2015_salt-docker/#/
Configurer et orchestrer son infrastructure avec un outil de gestion de configuration centralisée tel que Salt comporte de nombreux avantages.
La conservation et l'historisation des fichers de configuration dans un entrepôt de source geré par un DVCS (mercurial ou git) en fait partie.
Salt permet ensuite de faire évoluer son infrastructure en la testant dans des environements isolés. Une fois la description complète, reproduire une partie de son infrastructure de production sur un environnement virtualisé tel qu'un cloud
privé (OpenStack) devient possible et automatisable avec
*salt-cloud*. L'étape suivante est de pouvoir reproduire des portions de son infrastructure dans des conteneurs légers tels que docker ou lxc directement sur son portable. Pour cela, le pilotage de docker par salt et les fonctionnalités d'orchestration de salt permettent une agilité sans précédent.
Il s'agit d'un bon complément pour le TDI : Test Driven Infrastructure. L'infrastructure est testée en mode "intégration continue" et on peut tester et débugger une partie de l'infrastructure en mode "bac à sable".
Ce modèle peut ensuite être décliné avec l'utilisation des branches dans git ou mercurial où certaines branches vont être appliquées à la partie production de l'infrastructure alors que d'autres sont appliqués a la préproduction ou aux environnements docker ou lxc en local.
Salt est un outil de gestion de configuration centralisé généralement utilisé pour configurer et orchestrer son infrastructure système en bénéficiant de la conservation et de l'historisation des fichiers de configuration dans un entrepôt source géré par mercurial ou git. Toutefois, les possibilités offertes par Salt vont beaucoup plus loin. Une fois la description Salt de l'infrastructure de production terminée, il est possible d'en reproduire automatiquement tout ou partie
avec salt-cloud dans un environnement virtualisé (cloud privé OpenStack) et ainsi de pouvoir mener des tests. En allant plus loin, il est possible de reproduire des portions d'infrastructure dans des conteneurs légers (docker, lxc) et de travailler directement sur son ordinateur portable.
Les fonctionnalités d'orchestration de Salt et son pilotage de docker amènent une agilité sans précédent dans ce processus de travail.
Dans le modèle décrit ci-dessus, excellent complément du TDI (Test-Driven Infrastructure), l'infrastructure est testée et déboguée en mode "bac à sable" puis déployée selon un mécanisme automatisé d'intégration continue. Le modèle peut être décliné en utilisant des branches dans l’entrepôt source de Salt et en choisissant quelles branches sont appliquées
à l'infrastructure en production, en pré-production ou en test dans les environnements locaux (docker, lxc). Des mécanismes de relecture et de validation peuvent alors être mis en œuvre.
Importer des données en Python avec CubicWeb 3.21
Slides en version HTML : http://slides.logilab.fr/2015/pyconfr2015_import_donnees_cubicweb/
Nous introduirons une nouvelle méthode pour importer des données externes (service REST, fichier, etc.) dans une application. Simple et flexible, elle favorise la réutilisation des composants afin de se concentrer sur ce qui est spécifique à chaque cas. Un exemple d'implémentation sera donné avec le framework CubicWeb 3.21 qui introduit une API d'import de données fondée sur cette méthode.
Abstract
Il est courant pour un développeur de devoir implémenter des fonctionnalités d'import de données. Les utilisateurs peuvent en effet avoir besoin de données disponibles par ailleurs, dans un tableur par exemple, dans une autre base, ou accessibles par des services web. Nous introduisons ici une méthode simple pour réaliser cela en favorisant la généricité et la ré-utilisabilité des composants développés.
Un flux personnalisable d'entités
L'idée est de transformer petit à petit les données externes afin de les rendre compatibles avec le schéma de l'application et donc insérables en base.
Le principe est de commencer par stocker les données de la source sur une «[HTML_REMOVED]entité externe[HTML_REMOVED]». Puis on utilise des générateurs Python pour créer un «[HTML_REMOVED]flux[HTML_REMOVED]» d'entités[HTML_REMOVED]: chaque entité passe de fonction en fonction, ce qui va la transformer peu à peu pour la rapprocher du modèle attendu et qu'elle soit finalement prête à être insérée, ou au contraire rejetée si ce n'est pas possible.
L'étape d'insertion est alors identique, quelle que soit la source d'où proviennent les données.
Exemple avec CubicWeb 3.21
Avec sa version 3.21 sortie en 2015, le framework CubicWeb dispose d'une toute nouvelle API fondée sur cette méthode. Elle permet au développeur de se concentrer sur le flux de données provenant des sources qui l'intéressent.
De plus, l'étape d'insertion offre plusieurs composants interchangeables. En fonction du compromis qu'il souhaite faire entre sécurité et rapidité, le développeur peut choisir entre une insertion sûre mais lente, où chaque entité à insérer est préalablement vérifiée quant au type de ses données et la validité de ses relations, et une insertion plus rapide mais pouvant échouer, où les entités sont insérées en masse.
Tout cela sera illustré par le moissonnage des données de portails Open Data. La diversité des formats (RDF (open-data.europa.eu), REST (data.gouv.fr, OpenDataSoft), CSW (geocatalogue.fr), etc.) ainsi que des modèles de données impose de créer des flux différents afin que toutes ces données puissent être importées dans un schéma unique de CubicWeb.
De la même façon, un autre exemple sera l'import de données SKOS où des thesaurus entiers sont importés dans CubicWeb grâce à cette API.
Simulagora au service d'un grand défi industriel
La prédiction en temps réel de la dispersion accidentelle d'un polluant dans l'air
Simulagora - Salon du Bourget
Simulagora, met la simulation numérique à la portée de tous !
Simulagora est un service Web de simulation numérique dans le cloud permettant la réalisation de calculs d'envergure sans investissement :
- pas de matériel dédié : une connexion à Internet suffit,
- pas de connaissances poussées en informatique : les principaux codes de calcul libres sont pré-installés,
- pas d'investissement financier : le paiement se fait à l'usage.
Simulagora donne accès à la puissance quasi-illimitée des nuages publics :
- lancez vos calculs exigeants sur des machines ayant jusqu'à 32 CPU et 120 Go RAM,
- obtenez le résultat de vos études paramétriques en un temps record en utilisant plusieurs centaines de machines simultanément.
Simulagora n'est pas un service d'exécution de calcul comme les autres :
- il s'insère dans vos processus actuels (script, terminal, interface Web),
- il enregistre l'historique de vos calculs pour assurer leur capitalisation et leur traçabilité,
- il garantit la reproductibilité de vos calculs, en conservant une copie de la machine virtuelle sur laquelle ils ont été exécutés,
- son interface Web permet une collaboration entre les différents experts pour mener à bien vos études numériques les plus pointues.
Simulagora est un produit de Logilab qui, depuis 15 ans, met les technologies du Web au service de l'informatique scientifique.
Simulagora, sets numerical simulation available to all!
Simulagora is a cloud-based numerical simulation service which allows computations without any up-front investment:
- No dedicated hardware: only an Internet connection is needed
- No advanced IT knowledge: major free software packages are pre-installed and ready-to-use
- No financial investment: pay only for used resources.
Simulagora provides access to the virtually unlimited power of public clouds:
- Start your complex computations on machines with up to 32 CPUs and 120GB of RAM
- Get the results of your parametric studies in record time using hundreds of machines simultaneously.
Simulagora is a one-of-a-kind computation execution service:
- Easy to fit into your existing processes (scripts, terminal applications, Web interface)
- Saves your computations history to ensure their traceability and maximize their capitalization
- Guarantees the reproducibility of your computations by keeping a copy of the virtual machines on which they ran
- Enables collaboration among experts using the Web interface to carry out your most precise digital studies.
Simulagora is a service built by Logilab, a 15-year veteran of Web technologies for scientific computing.
Innover par et pour la donnée - Logilab ADBU Bibcamp 2015
Innover par et pour la donnée, illustrée par l'exemple de data.bnf.fr et les principes du web sémantique.
Présentation de Logilab au #bibcamp15 organisé en juin 2015 par l'ADBU, association des directeurs de bibliothèques universitaires.
Study of the dynamic behavior of a pump with Code_ASTER on Simulagora
Simulagora is a platform using Web technology to ease grid
computation by leveraging cloud resources.
Public cloud based
– Computation and storage resources
– Enormous power
– Super-fast computation resources ramp-up
Initialiser des conteneurs Docker à partir de configurations Salt construites...
Utilisation conjointe de Salt Mercurial
et Docker, et comment appliquer les bonne pratiques
des méthodes de programmations aux conteneurs.
Battle Opendata - Logilab - Cubicweb
Support de présentation lors de notre participation au "Battle" organisé par LibertTIC et DataLab à la ruche numérique du Mans.
Version PDF : http://www.logilab.fr/file/2221/raw/Battle%20Opendata.pdf
Debconf14 : Putting some salt in your Debian systems -- Julien Cristau
Salt allows scalable infrastructure management, including provisioning new systems and managing them over their lifetime. In this talk I'll show how it makes managing Debian systems easier.
Simulagora (Euroscipy2014 - Logilab)
L'autre poster présenté par Logilab concerne Simulagora, un service en ligne de simulation numérique collaborative, qui permet de lancer des calculs dans les nuages (donc sans investissement dans du matériel ou d'administration système), qui met l'accent sur la traçabilité et la reproductibilité des calculs, ainsi que sur le travail collaboratif (partage de logiciel, de données et d'études numériques complètes).
PAFI (Euroscipy2014 - Logilab)
Logilab was part of the research project PAFI (Plateforme d'Aide à la Facture Instrumentale) and developed an innovative web app, using CubicWeb, to facilitate the virtual prototyping of musical instruments and collaborative work between makers, users and museum curators.
BRAINOMICS A management system for exploring and merging heterogeneous brain ...
"BRAINOMICS A management system for exploring and merging heterogeneous brain mapping data based on CubicWeb" by Vincent Michel - CrEDIBLE 2013 - 3/10/2013
Présentation sur le stand à l'OpenWorldForum 2013
Présentation des activités de Logilab sur le stand de OpenWorlForum.
More from Logilab (20)
Open Source & Open Data : les bienfaits des communs
Open Source & Open Data : les bienfaits des communs
Pydata Paris Python for manufacturing musical instruments
Pydata Paris Python for manufacturing musical instruments
Utiliser salt pour tester son infrastructure sur open stack ou docker
Utiliser salt pour tester son infrastructure sur open stack ou docker
Innover par et pour la donnée - Logilab ADBU Bibcamp 2015
Innover par et pour la donnée - Logilab ADBU Bibcamp 2015
Study of the dynamic behavior of a pump with Code_ASTER on Simulagora
Study of the dynamic behavior of a pump with Code_ASTER on Simulagora
Initialiser des conteneurs Docker à partir de configurations Salt construites...
Initialiser des conteneurs Docker à partir de configurations Salt construites...
Debconf14 : Putting some salt in your Debian systems -- Julien Cristau
Debconf14 : Putting some salt in your Debian systems -- Julien Cristau
BRAINOMICS A management system for exploring and merging heterogeneous brain ...
BRAINOMICS A management system for exploring and merging heterogeneous brain ...
Recently uploaded
Why You Should Replace Windows 11 with Nitrux Linux 3.5.0 for enhanced perfor...
The choice of an operating system plays a pivotal role in shaping our computing experience. For decades, Microsoft's Windows has dominated the market, offering a familiar and widely adopted platform for personal and professional use. However, as technological advancements continue to push the boundaries of innovation, alternative operating systems have emerged, challenging the status quo and offering users a fresh perspective on computing.
One such alternative that has garnered significant attention and acclaim is Nitrux Linux 3.5.0, a sleek, powerful, and user-friendly Linux distribution that promises to redefine the way we interact with our devices. With its focus on performance, security, and customization, Nitrux Linux presents a compelling case for those seeking to break free from the constraints of proprietary software and embrace the freedom and flexibility of open-source computing.
FIDO Alliance Osaka Seminar: The WebAuthn API and Discoverable Credentials.pdf
FIDO Alliance Osaka Seminar
GraphSummit Singapore | Graphing Success: Revolutionising Organisational Stru...
Sudheer Mechineni, Head of Application Frameworks, Standard Chartered Bank
Discover how Standard Chartered Bank harnessed the power of Neo4j to transform complex data access challenges into a dynamic, scalable graph database solution. This keynote will cover their journey from initial adoption to deploying a fully automated, enterprise-grade causal cluster, highlighting key strategies for modelling organisational changes and ensuring robust disaster recovery. Learn how these innovations have not only enhanced Standard Chartered Bank’s data infrastructure but also positioned them as pioneers in the banking sector’s adoption of graph technology.
PHP Frameworks: I want to break free (IPC Berlin 2024)
In this presentation, we examine the challenges and limitations of relying too heavily on PHP frameworks in web development. We discuss the history of PHP and its frameworks to understand how this dependence has evolved. The focus will be on providing concrete tips and strategies to reduce reliance on these frameworks, based on real-world examples and practical considerations. The goal is to equip developers with the skills and knowledge to create more flexible and future-proof web applications. We'll explore the importance of maintaining autonomy in a rapidly changing tech landscape and how to make informed decisions in PHP development.
This talk is aimed at encouraging a more independent approach to using PHP frameworks, moving towards a more flexible and future-proof approach to PHP development.
Uni Systems Copilot event_05062024_C.Vlachos.pdf
Unlocking Productivity: Leveraging the Potential of Copilot in Microsoft 365, a presentation by Christoforos Vlachos, Senior Solutions Manager – Modern Workplace, Uni Systems
Transcript: Selling digital books in 2024: Insights from industry leaders - T...
The publishing industry has been selling digital audiobooks and ebooks for over a decade and has found its groove. What’s changed? What has stayed the same? Where do we go from here? Join a group of leading sales peers from across the industry for a conversation about the lessons learned since the popularization of digital books, best practices, digital book supply chain management, and more.
Link to video recording: https://bnctechforum.ca/sessions/selling-digital-books-in-2024-insights-from-industry-leaders/
Presented by BookNet Canada on May 28, 2024, with support from the Department of Canadian Heritage.
GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...
Effective Application Security in Software Delivery lifecycle using Deployment Firewall and DBOM
The modern software delivery process (or the CI/CD process) includes many tools, distributed teams, open-source code, and cloud platforms. Constant focus on speed to release software to market, along with the traditional slow and manual security checks has caused gaps in continuous security as an important piece in the software supply chain. Today organizations feel more susceptible to external and internal cyber threats due to the vast attack surface in their applications supply chain and the lack of end-to-end governance and risk management.
The software team must secure its software delivery process to avoid vulnerability and security breaches. This needs to be achieved with existing tool chains and without extensive rework of the delivery processes. This talk will present strategies and techniques for providing visibility into the true risk of the existing vulnerabilities, preventing the introduction of security issues in the software, resolving vulnerabilities in production environments quickly, and capturing the deployment bill of materials (DBOM).
Speakers:
Bob Boule
Robert Boule is a technology enthusiast with PASSION for technology and making things work along with a knack for helping others understand how things work. He comes with around 20 years of solution engineering experience in application security, software continuous delivery, and SaaS platforms. He is known for his dynamic presentations in CI/CD and application security integrated in software delivery lifecycle.
Gopinath Rebala
Gopinath Rebala is the CTO of OpsMx, where he has overall responsibility for the machine learning and data processing architectures for Secure Software Delivery. Gopi also has a strong connection with our customers, leading design and architecture for strategic implementations. Gopi is a frequent speaker and well-known leader in continuous delivery and integrating security into software delivery.
GraphSummit Singapore | Enhancing Changi Airport Group's Passenger Experience...
Dr. Sean Tan, Head of Data Science, Changi Airport Group
Discover how Changi Airport Group (CAG) leverages graph technologies and generative AI to revolutionize their search capabilities. This session delves into the unique search needs of CAG’s diverse passengers and customers, showcasing how graph data structures enhance the accuracy and relevance of AI-generated search results, mitigating the risk of “hallucinations” and improving the overall customer journey.
Encryption in Microsoft 365 - ExpertsLive Netherlands 2024
In this session I delve into the encryption technology used in Microsoft 365 and Microsoft Purview. Including the concepts of Customer Key and Double Key Encryption.
State of ICS and IoT Cyber Threat Landscape Report 2024 preview
The IoT and OT threat landscape report has been prepared by the Threat Research Team at Sectrio using data from Sectrio, cyber threat intelligence farming facilities spread across over 85 cities around the world. In addition, Sectrio also runs AI-based advanced threat and payload engagement facilities that serve as sinks to attract and engage sophisticated threat actors, and newer malware including new variants and latent threats that are at an earlier stage of development.
The latest edition of the OT/ICS and IoT security Threat Landscape Report 2024 also covers:
State of global ICS asset and network exposure
Sectoral targets and attacks as well as the cost of ransom
Global APT activity, AI usage, actor and tactic profiles, and implications
Rise in volumes of AI-powered cyberattacks
Major cyber events in 2024
Malware and malicious payload trends
Cyberattack types and targets
Vulnerability exploit attempts on CVEs
Attacks on counties – USA
Expansion of bot farms – how, where, and why
In-depth analysis of the cyber threat landscape across North America, South America, Europe, APAC, and the Middle East
Why are attacks on smart factories rising?
Cyber risk predictions
Axis of attacks – Europe
Systemic attacks in the Middle East
Download the full report from here:
https://sectrio.com/resources/ot-threat-landscape-reports/sectrio-releases-ot-ics-and-iot-security-threat-landscape-report-2024/
Elizabeth Buie - Older adults: Are we really designing for our future selves?
Elizabeth Buie - Older adults: Are we really designing for our future selves?
Pushing the limits of ePRTC: 100ns holdover for 100 days
At WSTS 2024, Alon Stern explored the topic of parametric holdover and explained how recent research findings can be implemented in real-world PNT networks to achieve 100 nanoseconds of accuracy for up to 100 days.
GraphSummit Singapore | The Future of Agility: Supercharging Digital Transfor...
Leonard Jayamohan, Partner & Generative AI Lead, Deloitte
This keynote will reveal how Deloitte leverages Neo4j’s graph power for groundbreaking digital twin solutions, achieving a staggering 100x performance boost. Discover the essential role knowledge graphs play in successful generative AI implementations. Plus, get an exclusive look at an innovative Neo4j + Generative AI solution Deloitte is developing in-house.
LF Energy Webinar: Electrical Grid Modelling and Simulation Through PowSyBl -...
Do you want to learn how to model and simulate an electrical network from scratch in under an hour?
Then welcome to this PowSyBl workshop, hosted by Rte, the French Transmission System Operator (TSO)!
During the webinar, you will discover the PowSyBl ecosystem as well as handle and study an electrical network through an interactive Python notebook.
PowSyBl is an open source project hosted by LF Energy, which offers a comprehensive set of features for electrical grid modelling and simulation. Among other advanced features, PowSyBl provides:
- A fully editable and extendable library for grid component modelling;
- Visualization tools to display your network;
- Grid simulation tools, such as power flows, security analyses (with or without remedial actions) and sensitivity analyses;
The framework is mostly written in Java, with a Python binding so that Python developers can access PowSyBl functionalities as well.
What you will learn during the webinar:
- For beginners: discover PowSyBl's functionalities through a quick general presentation and the notebook, without needing any expert coding skills;
- For advanced developers: master the skills to efficiently apply PowSyBl functionalities to your real-world scenarios.
Microsoft - Power Platform_G.Aspiotis.pdf
Revolutionizing Application Development
with AI-powered low-code, presentation by George Aspiotis, Sr. Partner Development Manager, Microsoft
20240605 QFM017 Machine Intelligence Reading List May 2024
Everything I found interesting about machines behaving intelligently during May 2024
GridMate - End to end testing is a critical piece to ensure quality and avoid...
End to end testing is a critical piece to ensure quality and avoid regressions. In this session, we share our journey building an E2E testing pipeline for GridMate components (LWC and Aura) using Cypress, JSForce, FakerJS…
Recently uploaded (20)
Why You Should Replace Windows 11 with Nitrux Linux 3.5.0 for enhanced perfor...
Why You Should Replace Windows 11 with Nitrux Linux 3.5.0 for enhanced perfor...
FIDO Alliance Osaka Seminar: The WebAuthn API and Discoverable Credentials.pdf
FIDO Alliance Osaka Seminar: The WebAuthn API and Discoverable Credentials.pdf
Free Complete Python - A step towards Data Science
Free Complete Python - A step towards Data Science
GraphSummit Singapore | Graphing Success: Revolutionising Organisational Stru...
GraphSummit Singapore | Graphing Success: Revolutionising Organisational Stru...
PHP Frameworks: I want to break free (IPC Berlin 2024)
PHP Frameworks: I want to break free (IPC Berlin 2024)
Transcript: Selling digital books in 2024: Insights from industry leaders - T...
Transcript: Selling digital books in 2024: Insights from industry leaders - T...
GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...
GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...
GraphSummit Singapore | Enhancing Changi Airport Group's Passenger Experience...
GraphSummit Singapore | Enhancing Changi Airport Group's Passenger Experience...
Encryption in Microsoft 365 - ExpertsLive Netherlands 2024
Encryption in Microsoft 365 - ExpertsLive Netherlands 2024
State of ICS and IoT Cyber Threat Landscape Report 2024 preview
State of ICS and IoT Cyber Threat Landscape Report 2024 preview
Elizabeth Buie - Older adults: Are we really designing for our future selves?
Elizabeth Buie - Older adults: Are we really designing for our future selves?
Pushing the limits of ePRTC: 100ns holdover for 100 days
Pushing the limits of ePRTC: 100ns holdover for 100 days
GraphSummit Singapore | The Future of Agility: Supercharging Digital Transfor...
GraphSummit Singapore | The Future of Agility: Supercharging Digital Transfor...
FIDO Alliance Osaka Seminar: Passkeys at Amazon.pdf
FIDO Alliance Osaka Seminar: Passkeys at Amazon.pdf
LF Energy Webinar: Electrical Grid Modelling and Simulation Through PowSyBl -...
LF Energy Webinar: Electrical Grid Modelling and Simulation Through PowSyBl -...
Secstrike : Reverse Engineering & Pwnable tools for CTF.pptx
Secstrike : Reverse Engineering & Pwnable tools for CTF.pptx
20240605 QFM017 Machine Intelligence Reading List May 2024
20240605 QFM017 Machine Intelligence Reading List May 2024
GridMate - End to end testing is a critical piece to ensure quality and avoid...
GridMate - End to end testing is a critical piece to ensure quality and avoid...
Open Legislative Data Conference 2014
- 1. 2 years ago at Open Legislative Data Conference... https://gitorious.org/law-is-code/ Push amendments into a git repository Methinks great idea!
- 3. Writing code • Text • Collaborative, Distributed, Parrallel • Workflow, Review, Discuss, Proof-read • (Automated) Testing ? • LOTS of tools to work fast (editor, version control, scripting, etc)
- 4. Law is Code Rebooted 1. Use existing tools for code review 2. Convert from git to hg 3. Import into cubicweb-vcreview 4. Scratch head...
- 5. What can I do? 1. comment amendments 2. query (datamining?) 3. export (csv, ods, json, etc.) 4. reports, dataviz ?
- 6. Interested ? Get in touch! nicolas.chauvat@logilab.fr http://www.cubicweb.org/