Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Journée Perl 2012 - Strasbourg




Retours d'expérience sur une utilisation
        avancée du MetaCPAN




  Erwan 'Labyn...
■▪▪▪▪▪▪▪▪▪▪

                                                                                         Plan
               ...
▪■▪▪▪▪▪▪▪▪▪

                                                                                     Antepedia
              ...
▪■▪▪▪▪▪▪▪▪▪

                                                                                   Antepedia
 De quelles info...
▪■▪▪▪▪▪▪▪▪▪

                                                                                                            A...
▪▪■▪▪▪▪▪▪▪▪

                                                                                      CPAN


   Comprehensive...
▪▪■▪▪▪▪▪▪▪▪

                                                                                      CPAN


   Comment récup...
▪▪■▪▪▪▪▪▪▪▪

                                                                                      CPAN
Y'a t'il toutes le...
▪▪■▪▪▪▪▪▪▪▪

                                                                                      CPAN
                  ...
▪▪▪■▪▪▪▪▪▪▪

                                                                                   MetaCPAN


         Altern...
▪▪▪■▪▪▪▪▪▪▪

                                                                                   MetaCPAN
  Pourquoi l'API ...
▪▪▪■▪▪▪▪▪▪▪

                                                                                   MetaCPAN




             ...
▪▪▪■▪▪▪▪▪▪▪

                                                             MetaCPAN
 Comment utiliser l'API MetaCPAN ?
 $ c...
▪▪▪■▪▪▪▪▪▪▪

                                                                                   MetaCPAN
  Passage à l'éch...
▪▪▪■▪▪▪▪▪▪▪

                                                                                   MetaCPAN


     www.elasti...
▪▪▪▪■▪▪▪▪▪▪

                                                                                   BackPAN


  Ce qui est sur...
▪▪▪▪▪■▪▪▪▪▪

                                                                       CPAN dans Antepedia
  Le process d'int...
▪▪▪▪▪▪■▪▪▪▪

                                                                                   La communauté
  Un travail...
▪▪▪▪▪▪▪■▪▪▪

                                                                         Exemple avec Dancer




Retours d'ex...
▪▪▪▪▪▪▪■▪▪▪

                                                                         Exemple avec Dancer
 Archive d'une d...
▪▪▪▪▪▪▪■▪▪▪

                                                                         Exemple avec Dancer
 Fichier provena...
▪▪▪▪▪▪▪■▪▪▪

                                                                         Exemple avec Dancer
 Fichier provena...
▪▪▪▪▪▪▪▪■▪▪

                                                                                        Bilan
  Le projet Met...
▪▪▪▪▪▪▪▪■▪▪

                                                                                           Bilan

P o u r A m...
▪▪▪▪▪▪▪▪▪■▪

                                            Pour quelques stats en plus...




                              ...
▪▪▪▪▪▪▪▪▪■▪

                                            Pour quelques stats en plus...




                              ...
▪▪▪▪▪▪▪▪▪■▪

                                            Pour quelques stats en plus...




                              ...
▪▪▪▪▪▪▪▪▪■▪

                                            Pour quelques stats en plus...




                              ...
▪▪▪▪▪▪▪▪▪■▪

                                            Pour quelques stats en plus...




                              ...
▪▪▪▪▪▪▪▪▪■▪

                                            Pour quelques stats en plus...

                                 ...
▪▪▪▪▪▪▪▪▪▪■

                                                                                   Insolites dans CPAN
  Notr...
Questions




                                                                                   illustration issue de The...
Upcoming SlideShare
Loading in …5
×

of

Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 1 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 2 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 3 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 4 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 5 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 6 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 7 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 8 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 9 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 10 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 11 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 12 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 13 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 14 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 15 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 16 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 17 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 18 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 19 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 20 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 21 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 22 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 23 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 24 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 25 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 26 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 27 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 28 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 29 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 30 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 31 Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012 Slide 32
Upcoming SlideShare
2011 01 27 Opportunités des logiciels libres ou open source by competitic
Next

1 Like

Share

Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012

Dans le cadre de l'activité d'Antelink, nous avons dû utiliser le MetaCPAN afin d'indexer et qualifier le contenu CPAN dans Antepedia, notre base de connaissance de composants open source.
Nous proposons cette présentation afin de montrer :
* une utilisation concrète du MetaCPAN à une grande échelle dans un environnement de production
* l'intêret d'un tel projet par rapport à l'API officielle de CPAN
* comment nous avons travaillé de pair avec la communauté Perl autour de ce projet.

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

Retour d'expérience sur une utilisation avancée du MetaCPAN - journée Perl 2012

  1. 1. Journée Perl 2012 - Strasbourg Retours d'expérience sur une utilisation avancée du MetaCPAN Erwan 'Labynocle'' Ben Souiden - erwan@aleikoum.net - @labynocle - Antelink
  2. 2. ■▪▪▪▪▪▪▪▪▪▪ Plan Antepedia CPAN MetaCPAN BackPAN La communauté Exemple avec Dancer Pour quelques stats en plus... Insolites vu dans CPAN Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 2
  3. 3. ▪■▪▪▪▪▪▪▪▪▪ Antepedia La plus grande base de connaissance de composants Open Source +1M de projets (+2M avec les projets Github) +500M de fichiers +1k projets ajoutés quotidiennement +44To de données stockées Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 3
  4. 4. ▪■▪▪▪▪▪▪▪▪▪ Antepedia De quelles informations avons nous besoin ? Une description du projet L'URL du projet La licence du projet Les archives des releases avec leurs numéros de version et leurs dates L'adresse du repository Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 4
  5. 5. ▪■▪▪▪▪▪▪▪▪▪ Antepedia Le cas Perl Diagramme des langages les plus utilisés stats venant du Tiobe Index 2011 (par Tiobe Software) Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 5
  6. 6. ▪▪■▪▪▪▪▪▪▪▪ CPAN Comprehensive Perl Archive Network - www.cpan.org héberge tous les modules et distributions Perl... … ainsi que des informations/métadonnées les concernant maintenu par la communauté et soutenu par de nombreuses entreprises Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 6
  7. 7. ▪▪■▪▪▪▪▪▪▪▪ CPAN Comment récupérer les informations automatiquement ? via le site : www.cpan.org via l'API CPAN : search.cpan.org/api Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 7
  8. 8. ▪▪■▪▪▪▪▪▪▪▪ CPAN Y'a t'il toutes les informations dont nous avons besoin ? Exemple avec Dancer : Une description du projet A minimal-effort oriented web application framework L'URL du projet ??? La licence du projet The Perl 5 License (Artistic 1 & GPL 1) Les archives des releases avec leurs numéros de version et leurs dates Dancer-1.3095.tar.gz - version ??? – 2012/04/01 Dancer-1.3094.tar.gz - version ??? – 2012/03/31 L'adresse du repository http://github.com/sukria/Dancer Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 8
  9. 9. ▪▪■▪▪▪▪▪▪▪▪ CPAN API « officielle » Support du format JSON et XML Certaines informations ne sont pas retournées (license, repository) par l'API... … et certaines informations manquent (URL du projet) API moins souple au niveau des requêtes (3 types de requêtes) Ne retourne pas les informations sur les distributions qui ont un status « backpan » Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 9
  10. 10. ▪▪▪■▪▪▪▪▪▪▪ MetaCPAN Alternative Open Source et gratuite à search.cpan.org … s'appuyant sur les données déclarées … ainsi que les données provenant d'autres sites (ex : Github) Depuis 2010 2 contributeurs principaux mais plus de 40 participants Un frontend : www.metacpan.org Et une API MetaCPAN dédiée : api.metacpan.org Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 10
  11. 11. ▪▪▪■▪▪▪▪▪▪▪ MetaCPAN Pourquoi l'API MetaCPAN a des résultats plus riches ? Toutes les informations sont présentes... et même plus ! Retourne les informations sur des distributions qui ne sont plus sur le CPAN L'API est beaucoup plus souple en permettant de lancer des requêtes très complexes et pointues Support de la recherche * Support du format JSON Le contenu du MetaCPAN est mis à jour toutes les heures et regarde le contenu des distributions (META.json) Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 11
  12. 12. ▪▪▪■▪▪▪▪▪▪▪ MetaCPAN illustration de xkcd.org Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 12
  13. 13. ▪▪▪■▪▪▪▪▪▪▪ MetaCPAN Comment utiliser l'API MetaCPAN ? $ curl http://api.metacpan.org/release/Dancer { "resources" : { "repository" : { "url" : "http://github.com/sukria/Dancer" }, "homepage" : "http://perldancer.org/", "bugtracker" : { "web" : "http://github.com/sukria/Dancer/issues" } }, "status" : "latest", "date" : "2012-04-01T19:22:56", "author" : "XSAWYERX", "maturity" : "released", "dependency" : [ { 13 "relationship" : "requires", Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012
  14. 14. ▪▪▪■▪▪▪▪▪▪▪ MetaCPAN Passage à l'échelle ? Une seule règle d'utilisation : BE POLITE Problèmes avec les requêtes qui retournent beaucoup de résultats Les requêtes de type search * sont trop lourdes Tuning des paramètres (size, fields) Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 14
  15. 15. ▪▪▪■▪▪▪▪▪▪▪ MetaCPAN www.elasticsearch.org Moteur de recherche distribué, RESTful écrit en JAVA MetaCPAN s'appuie sur elasticsearch pour la recherche paginée et permettre le passage à l'échelle Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 15
  16. 16. ▪▪▪▪■▪▪▪▪▪▪ BackPAN Ce qui est sur le CPAN n'y reste pas forcément ! BackPAN – backpan.perl.org – est un mirror CPAN où aucun contenu n'est effacé En mergeant le contenu BackPAN et celui de notre mirroir CPAN, on couvre toute l'histoire de Perl ! Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 16
  17. 17. ▪▪▪▪▪■▪▪▪▪▪ CPAN dans Antepedia Le process d'intégration du CPAN dans Antepedia : Découverte de tous les projets – via l'API MetaCPAN Récupération des informations pour chaque projets trouvés – via l'API MetaCPAN Download des distributions associées à chaque projet – via le miroir CPAN d'Antelink Extractions des distributions Si déclaré : dump du repository (GIT,SVN ou CVS) Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 17
  18. 18. ▪▪▪▪▪▪■▪▪▪▪ La communauté Un travail continu avec la communauté Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 18
  19. 19. ▪▪▪▪▪▪▪■▪▪▪ Exemple avec Dancer Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 19
  20. 20. ▪▪▪▪▪▪▪■▪▪▪ Exemple avec Dancer Archive d'une distribution Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 20
  21. 21. ▪▪▪▪▪▪▪■▪▪▪ Exemple avec Dancer Fichier provenant d'une distribution Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 21
  22. 22. ▪▪▪▪▪▪▪■▪▪▪ Exemple avec Dancer Fichier provenant du repository déclaré Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 22
  23. 23. ▪▪▪▪▪▪▪▪■▪▪ Bilan Le projet MetaCPAN a permis d'avoir un point d'entrée unique et efficace pour découvrir le contenu du CPAN... … mais aussi de qualifier complètement ce contenu … de façon automatique ce process tourne aujourd'hui dans notre production sans interruption pour les contributeurs Perl, il reste un moyen simple pour la déclaration et la récupération d'informations Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 23
  24. 24. ▪▪▪▪▪▪▪▪■▪▪ Bilan P o u r A m e lio r e r la q u a lit e d e s in fo r m a t io n s , U t ilis e z E t a b u s e z d u ME TA C PA N illustration de xkcd.org Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 24
  25. 25. ▪▪▪▪▪▪▪▪▪■▪ Pour quelques stats en plus... illustrations par Hasni Alamat Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 25
  26. 26. ▪▪▪▪▪▪▪▪▪■▪ Pour quelques stats en plus... illustrations par Hasni Alamat Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 26
  27. 27. ▪▪▪▪▪▪▪▪▪■▪ Pour quelques stats en plus... illustrations par Hasni Alamat Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 27
  28. 28. ▪▪▪▪▪▪▪▪▪■▪ Pour quelques stats en plus... illustrations par Hasni Alamat Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 28
  29. 29. ▪▪▪▪▪▪▪▪▪■▪ Pour quelques stats en plus... illustrations par Hasni Alamat Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 29
  30. 30. ▪▪▪▪▪▪▪▪▪■▪ Pour quelques stats en plus... Stats d'exploitation illustrations par Hasni Alamat Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 30
  31. 31. ▪▪▪▪▪▪▪▪▪▪■ Insolites dans CPAN Notre analyse a révélé plus de 200 distributions en doublon avec les cas particuliers suivants : CGI.pm-3.02_alpha.tar.gz et CGI.pm-3.02.tar.gz sont en réalité identiques : une alpha qui devient la vraie release ? Gtk2-TrayIcon-0.03.tar.gz est retrouvé en doublon sous le nom Gtk2- TrayIcon-0.03_foo.tar.gz avec une version 0.02. Version déclarée pas en phase avec la version de la release ? Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 31
  32. 32. Questions illustration issue de The Big Bang Theory Retours d'expérience sur une utilisation avancée du MetaCPAN – Journée Perl 2012 32
  • jeanclaudedalot1

    Mar. 3, 2019

Dans le cadre de l'activité d'Antelink, nous avons dû utiliser le MetaCPAN afin d'indexer et qualifier le contenu CPAN dans Antepedia, notre base de connaissance de composants open source. Nous proposons cette présentation afin de montrer : * une utilisation concrète du MetaCPAN à une grande échelle dans un environnement de production * l'intêret d'un tel projet par rapport à l'API officielle de CPAN * comment nous avons travaillé de pair avec la communauté Perl autour de ce projet.

Views

Total views

4,639

On Slideshare

0

From embeds

0

Number of embeds

3

Actions

Downloads

0

Shares

0

Comments

0

Likes

1

×