Qu’est ce que le phénomène big data ? Définition 2
Accumulation sans fin de données numériques Gartner 2008Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 3
Liée à un contexte nouveau + de produits, de documents + d’applications de services + d’échanges, de transactions, de trafic + de terminaux, de devices + de clients, d’utilisateurs Tout est conservé !Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 4
Principales sources Média et divertissements Santé Sciences de la vie Vidéo surveillance Transports, logistique, télécommunicationsMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 5
Des données différentes Structurées Non structurées Organisées ; Produites en temps réel ; Types prédéterminés ; En flots continus ; Relations bien connues ; Méta taguées de façon disparate ; Accès transactionnel. De sources très disparates.Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 6
3 caractéristiquesMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 7
x 44 en 10 ans Zo Eo Po To Go 1 000 000 000 000 25 000 000 000 000 000 000 de conteneurs (quatrillion)Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 8
Impacts sur les Data Centers. Pour les dix ans à venirMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 9
Big data value Big Une valeur statistique Reporting Data mining Analyse prédictiveMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 10
De nouvelles opportunités Marché en croissance de 40% d’ici 2015 (IDC) ; Stockage la progression de 61% ; Convergence Big Data & Cloud Computing ; Un nouveau métier : Data Scientist.Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 11
De nouveaux défis Acquérir Sources multiples – Vélocité Organiser Stockage – Passage à l’échelle – Performances Analyser Fouille de données – Business intelligenceMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 12
Tendances, concepts et produits Solutions technologiques
Enablers Hyperscale computing + commodity hardware Un datacenter en mode open sourceMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 14
Scale out storage SCALE UP SCALE OUT Nouvelles Nouvelles Résea Ressources Ressources Ressources Ressources u inter ne Réseau externe (bus Ressources Ensemble de nœuds agissant comme système ou de stockage mém oire) Ressources •Plus extensible •Plus performant Système de stockage •Plus économique (-50 %)Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 15
NotOnlySQLBases de Données non relationnellesClé / valeurDocumentColonneGrapheAdapté aux architectures distribuéesFournit la tolérance aux pannesMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 16
Map Reduce2004, Google - MapReduce: Simplified Data Processing on Large ClusterDiviser les données traitées en parallèle (Map)Combiner l’ensemble des résultats (Reduce)Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 17
Plateforme Big Data Une architecture unifiéeMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 18
Dans tout ça L’open data
Données ouvertesDonnées variablesUn volume potentiellement conséquentDes mises à jour fréquentesUne valeur liée à l’analyse Data BigMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 20
Exemple Elastic Web Map App ReduceMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 21
Merci de votre attentionMardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 22
Big data pierreevenou