Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Elasticsearch 5.0 les nouveautés

714 views

Published on

Prez du meetup elasticsearch bordeaux. Panorama des nouveautés d'elasticsearch 5.0 (à ce jour).

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Elasticsearch 5.0 les nouveautés

  1. 1. elasticsearch 5.0 les nouveautés Mathieu ELIE @mathieuel
  2. 2. Présentation • Mathieu ELIE • Consultant et formateur elasticsearch • Twitter: @mathieuel • Web: http://www.mathieu-elie.net • Tech freelance depuis 5 ans
  3. 3. Le stack à partir de 5.0
  4. 4. Le stack 5.0 • Toutes les versions callées sur le même numéro. • Kibana 5.0 logstash 5.0 beats 5.0 • X-pack: shields marvel etc… packagé sur tout le stack. • Meilleur intégration de ses produits sur tout le stack.
  5. 5. Lucene 6.0
  6. 6. Lucene 6.0 • Dimensionnal points • Numérique, date et géospatial • Half disk space • Index deux fois plus vite • Recherche: +25% de performance • Parfait pour le logging et les metrics
  7. 7. Ingest Node
  8. 8. Ingest node • Filtre logstash comme grok, split…. • Pas besoin de tout logstash sur de nombreux use cases. • Applique des processeurs au moment de l’indexation. • Index et bulk.
  9. 9. Painless scripting (with Painless !)
  10. 10. Painless • Groovy disabled par défaut pour raisons de sécurité • Nouveau langage enabled par défaut. • Conçut spécifiquement pour es • Donc plus sécure. • Plus performant.
  11. 11. Instant aggregations
  12. 12. Instant aggregations • Cache ok même avec time.now • Query parser re-écrit • Donc plus de sécu et. • Plus de perfs avec du caching • Query cache enabled par défaut car gros gain de perfs.
  13. 13. Text/Keyword to Replace Strings
  14. 14. Text / Keyword • String -> full text | keyword comme tag, email. Domain name • Text -> full texte et relevance • Keyword -> pour agrégations / filters. Doc values. • Text: field data disabled / sécurité pour ne pas loader toute la data en mémoire.
  15. 15. Text/Keyword to Replace Strings
  16. 16. Completion Suggester v2
  17. 17. Completion suggester v2 • Complètement re-écrit. • Prends en compte les documents supprimés. • Retourne des documents entiers. • Score: peuvent être ajustés.
  18. 18. Settings Validation
  19. 19. Settings validation • Strictement validés. • Valide globalement / atomic. • Unset ! -> null • Les valeurs par défaut peuvent être récupérées. ?include_defaults
  20. 20. Safety in production
  21. 21. Safety in production • Bind localhost -> dev • Bind ip -> production • Local -> warn • Production -> do not start
  22. 22. Resilience
  23. 23. Resilience • Beaucoup d’améliorations • File path name -> hash et pas index. • Cluster state / démarrage.
  24. 24. Migration Helper
  25. 25. Migration helper • Aide à préparer la migration de 2.0 vers 5.0 • Cluster checkup. • Re-index helper. • Deprecation logging.
  26. 26. Deleted Index Tombstones
  27. 27. Deleted Index Tombstones • Au restart d’un cluster -> • Des indices deletés pouvaient re-apparaitre ! • -> fixed
  28. 28. Indexed Scripts/Templates are now Stored
  29. 29. Indexed Scripts/Templates are now Stored • Avant -> stocké dans un index. • Doit etre démarré avant les autres • -> cluster state
  30. 30. So long Environment Vars and thanks for all the fish
  31. 31. So long Environment Vars and thanks for all the fish • Jvm.options • Ligne de commande re-factorée.
  32. 32. Safety Measures
  33. 33. Safety Measures • Bootstrap -> • Check heap size correcte -> • Mmapfs nead virtual memory
  34. 34. Bootstrap Checks
  35. 35. Bootstrap checks • Local -> warnings • Production -> stop
  36. 36. Indexing Performance
  37. 37. Indexing performance • Travaux sur les locks • + 15 a 20 % sur l 'index des petits documents grace aux locks de concurrent update • aussi des gains sur le fsync du transaction log
  38. 38. Dots in Field Names
  39. 39. Dot in fields name • Removed in 2.0 • En 5.0 -> se comporte comme un objet (hiérarchie).
  40. 40. Shard Allocation
  41. 41. Shard allocation • Failed -> possible -> mais ? Pourquoi ? • Api dédiée pour répondre à cette question.
  42. 42. Java REST client
  43. 43. Java REST client • Client léger bas niveau. • Pas transport (protocole). • Moins de dépendences: code et version de server.
  44. 44. Rollover indexing
  45. 45. Rollover indexing • Gestion de time based indices. • Rollover index alias if too old or too big. • Shrink multiple shards to one shard.
  46. 46. Wait for refresh
  47. 47. Wait for refresh • Wait for refresh a l’index. • Near real time !
  48. 48. Index creation friendly to sysadmins
  49. 49. Index creation friendly to sysadmins • waits for the primay shard allocated before responding • -> plus de red status furtifs -> plus d’alertes.
  50. 50. Netty4
  51. 51. Netty4 • Upgrade de la library de networking • -> super important mais risqué • Switch back netty 3.0 possible si bugs ou autres problêmes.
  52. 52. Security improvements in X-Pack
  53. 53. Security improvements in X-Pack • Plus simple pour gérer les certificats SSL • Outils helpers.
  54. 54. THE END • Question ? • Follow @mathieuel

×