Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

XebiCon'18 - Spark NLP, un an après

20 views

Published on

Spark NLP (Natural Language Processing) permet depuis son lancement en open source, il y a un an et quelques mois, d'avoir une solution de traitement du langage directement développé pour Apache Spark et Spark ML (Machine Learning). Apache Spark avec son module ML permet de lancer des tâches de data science, avec du machine learning et du deep learning, tout en profitant de l'aspect distribué de son architecture. Avec Spark NLP, on peut le faire maintenant avec des tâches de NLP spécialisé.

Depuis sa sortie, que peux-t-on faire avec Spark NLP ? Quels cas sont à tester avec Spark NLP, et ceux à éviter ? Est-ce facile pour les équipes d'entraîner un modèle et de l'utiliser dans son pipeline ?

Nous verrons ces questions à travers un exemple rapide d'entraînement de détection d'entités nommées (NER) avec Spark NLP.

Par Aurore De Amaral, Data Engineer chez Xebia

Toutes les informations sur xebicon.fr

Published in: Technology
  • Be the first to comment

  • Be the first to like this

XebiCon'18 - Spark NLP, un an après

  1. 1. @Xebiconfr #Xebicon18 @auroredea Spark NLP, 1 an après Aurore de Amaral, Ingénieur Data 1
  2. 2. @Xebiconfr #Xebicon18 @auroredea Aurore de Amaral Ingénieur Data (passionnée par le TAL :D) 2
  3. 3. @Xebiconfr #Xebicon18 @auroredea 3
  4. 4. @Xebiconfr #Xebicon18 @auroredea 4
  5. 5. @Xebiconfr #Xebicon18 @auroredea Dernière version : 1.7.3 Utilise Spark/Spark ML 2.X.X Scala 2.11.X Java 7+ Développé et Open Sourcé depuis 1 an par : 5
  6. 6. @Xebiconfr #Xebicon18 @auroredea 6
  7. 7. @Xebiconfr #Xebicon18 @auroredea 7
  8. 8. @Xebiconfr #Xebicon18 @auroredea 8 Corpus annoté sur https://github.com/YoannDupont/WiNER-fr À l’extérieur, d’autres élus comme Philippe Goujon , député-maire Les Républicains du 15 e arrondissement de Paris , et Frédéric Lefebvre , député LR, tentaient de faire barrage. Ce dernier en appelle au Pape François « pour sauvegarder ce lieu de culte » [1] .
  9. 9. @Xebiconfr #Xebicon18 @auroredea 9
  10. 10. @Xebiconfr #Xebicon18 @auroredea 10
  11. 11. @Xebiconfr #Xebicon18 @auroredea 11 Phrases Tokenizer POS Maître Corbeau, ... [“Maître”, “Corbeau”, ”,”] [“Maître”,”N”], [“Corbeau”,”N”] Maître Renard, ... [“Maître”, “Renard”, ”,” ] [“Maître”,”N”], [“Renard”,”N”]
  12. 12. @Xebiconfr #Xebicon18 @auroredea Pré-entraîné sur l’anglais Pas de pré-entraînement BasicPipeline Pipeline AdvancedPipeline LightPipeline SentimentPipeline RecursivePipeline 12
  13. 13. @Xebiconfr #Xebicon18 @auroredea
  14. 14. @Xebiconfr #Xebicon18 @auroredea 14
  15. 15. @Xebiconfr #Xebicon18 @auroredea 15
  16. 16. @Xebiconfr #Xebicon18 @auroredea

×