+ 
Curiosity 
Data Explorer
Besoin 
Explorer et exposer ses données 
Métier 
Accès 
Exposition
Idée 
Point d’accès unique aux données 
Moteur 
Requêtage 
Open source 
Communauté 
Agrégations 
Rapide 
? 
+ ?
Problème 
Requêtage 
{ 
"query" : { 
"filtered" : { 
"query" : { 
"bool" : { 
"must" : [ 
{ 
"match_phrase" : { 
"first_name" : "mary jane" 
} 
}, 
{ 
"match_phrase" : { 
"last_name" : "smith" 
} 
} 
] 
} 
}, 
"filter" : { 
"and" : [ 
{ 
"term" : { 
"active" : 1 
} 
}, 
{ 
"or" : [ 
{ 
"term" : { 
"date_of_birth" : "1980-01-01" 
} 
}, 
{ 
"terms" : { 
"email" : [ 
"mary@smith.com", 
"maryjane@smith.com" 
] 
} 
}, 
{ 
"terms" : { 
"travel_document.number" : [ 
"1234", 
1235 
] 
} 
} 
] 
} 
] 
}}}}
Problème 
Résultats 
{ 
"took" : 85, 
"timed_out" : false, 
"_shards" : { 
"total" : 5, 
"successful" : 5, 
"failed" : 0 
}, 
"hits" : { 
"total" : 3, 
"max_score" : 1.0, 
"hits" : [ { 
"_index" : "blog", 
"_type" : "post", 
"_id" : "1", 
"_score" : 1.0, "_source" : 
{ 
"user": "dilbert", 
"postDate": "2011-12-15", 
"body": "Search is hard.", 
"title": "On search" 
} 
}, 
{ 
"_index" : "blog", 
"_type" : "post", 
"_id" : "2", 
"_score" : 0.30685282, "_source" : 
{ 
"user": "dilbert", 
"postDate": "2011-12-12", 
"body": "Distribution is hard." , 
"title": "On distributed search" 
} 
}, { 
"_index" : "blog", 
"_type" : "post", 
"_id" : "3", 
"_score" : 0.30685282, "_source" : 
{ 
"user": "dilbert", 
"postDate": "2011-12-10", 
"body": "Lorem ipsum dolor" , 
"title": "Lorem ipsum" 
} 
} ] 
}
Curiosity 
Explorer ElasticSearch 
Fonctionnalités 
• Requêtage simple 
• Découverte du modèle 
• Templating de résultats 
• Templating d’agrégations 
• Création interactive 
d’agrégations 
• Partage de « contextes » 
• Extensible (modules) 
• Export csv 
+
Et kibana 
Pourquoi un autre ? 
Curiosity 
Data Explorer 
• dashboard temporel 
• multi requêtes
Curiosity 
Démo
github.com/pagesjaunes/curiosity

Elasticmeetup curiosity 20141113

  • 1.
  • 2.
    Besoin Explorer etexposer ses données Métier Accès Exposition
  • 3.
    Idée Point d’accèsunique aux données Moteur Requêtage Open source Communauté Agrégations Rapide ? + ?
  • 4.
    Problème Requêtage { "query" : { "filtered" : { "query" : { "bool" : { "must" : [ { "match_phrase" : { "first_name" : "mary jane" } }, { "match_phrase" : { "last_name" : "smith" } } ] } }, "filter" : { "and" : [ { "term" : { "active" : 1 } }, { "or" : [ { "term" : { "date_of_birth" : "1980-01-01" } }, { "terms" : { "email" : [ "mary@smith.com", "maryjane@smith.com" ] } }, { "terms" : { "travel_document.number" : [ "1234", 1235 ] } } ] } ] }}}}
  • 5.
    Problème Résultats { "took" : 85, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits" : { "total" : 3, "max_score" : 1.0, "hits" : [ { "_index" : "blog", "_type" : "post", "_id" : "1", "_score" : 1.0, "_source" : { "user": "dilbert", "postDate": "2011-12-15", "body": "Search is hard.", "title": "On search" } }, { "_index" : "blog", "_type" : "post", "_id" : "2", "_score" : 0.30685282, "_source" : { "user": "dilbert", "postDate": "2011-12-12", "body": "Distribution is hard." , "title": "On distributed search" } }, { "_index" : "blog", "_type" : "post", "_id" : "3", "_score" : 0.30685282, "_source" : { "user": "dilbert", "postDate": "2011-12-10", "body": "Lorem ipsum dolor" , "title": "Lorem ipsum" } } ] }
  • 6.
    Curiosity Explorer ElasticSearch Fonctionnalités • Requêtage simple • Découverte du modèle • Templating de résultats • Templating d’agrégations • Création interactive d’agrégations • Partage de « contextes » • Extensible (modules) • Export csv +
  • 7.
    Et kibana Pourquoiun autre ? Curiosity Data Explorer • dashboard temporel • multi requêtes
  • 8.
  • 9.

Editor's Notes

  • #3 Mécanisme actuel : des sillots de données hétérogènes, liés à des connaissances métiers données, accessibles par des langages plus ou moins hermétiques, ou des outils plus conviviaux mais dédiés à une « vue » unique et « pré-pensée ».
  • #4 Idée : accéder aux données par un système unique => Elasticsearch pour toutes les bonnes raisons (requêtage puissant, open source avec grosse et active communauté, agrégations et agrégations imbriquées, rapidité, …)
  • #5 Problème d’ES : même pour des gens techniques, le requêtage n’est pas simple. (on pense qu’on va discuter avec lui en français mais finalement, il nous cause chinois)
  • #6 Idem pour les résultats
  • #7 Pour répondre à ce problème : curiosity Outil interactif de requêtage et d’affichage des résultats d’un index elasticsearch QUELCONQUE Note : Permet de créer des liens entre les sillots de données