Recommended
Recommended
More Related Content
Similar to How Big Data could benefit from Physics ?
Similar to How Big Data could benefit from Physics ? (20)
Recently uploaded
Recently uploaded (20)
How Big Data could benefit from Physics ?
- 1. Physics laws & Big Data How Physics laws could help achieving efficiency in Big Data projects ? Bill METANGMO R&D Data Engineer
- 2. Yes, we can !
- 3. About me • R&D Engineer @Bull • Works on Convergence between Big Data & HPC • Cameroon • Physics as best course in High schoolBill METANGMO TSOBZE Twitter: @billmetangmo Blog: https://medium.com/@BillMetangmo
- 4. What is physics ? A simple set of formula ?
- 5. What is physics ? Physics is more than just formulas ! This is physics This is metaphysics Physics is about understading how the thing works
- 6. What is Big Data ? Challenges - Data lineage ? - Data governance ? - Develop analytical questions ?
- 8. Physics system definition • Type: open/closed/isolated • Environment: everything outside of the • State variables: helps to describe the state of the system at any moment) • Referential: useful for determining position & time The physics system is the subject choosed for our analaysis
- 9. Physics system definition A typical Big Data project workflow Two system objects: • Actors • Enterprise & external data
- 10. Physics system definition • Environment: external data & actors • Type: open ( material + energy exchange) • Referential : temporal + spatial • State variables: mass, volume, total energy Our physics system would be Enterprise Data Warehouse
- 11. Physics system definition Temporal referential Physics: What is the clock of the system ? Big Data: What time should be considered as tO instant for the project/analysis ?
- 12. Physics system definition spatial referential Physics: I could determine the position of a an object at any one time Big Data: I could determine the source of every object in a datalake
- 13. Physics system definition State variables Mass - data size in octets Volume - Datalake free space - Enterprise context
- 14. Big data system is Open * Volumetric mass density * Nuclear shell model
- 15. Big Data benefits from Physics Material exchange Really ? - Weight ? - Too much water ? Mass and volume aren’t characteristic properties of an element
- 16. Big Data benefits from Physics Material exchange Volumetric mass density density
- 17. Big Data benefits from Physics Material exchange What do should we learn ? - determine volume mass density of your enterprise/ external data source using your own criterias How ? - transformation : could this data totally hide my enterprise data ?
- 18. Big Data benefits from Physics Material exchange Let’s do a big zoom inside mass - Oxygen : 2 électrons - Hydrogen: 1 électrons
- 19. Big Data benefits from Physics Material exchange What should we learn ? - valence electrons for internal/external data units How ? - Deep knowledge of external data source
- 20. Big Data benefits from Physics Material exchange What should we learn ? - Determine data unit fields position: core,layers ? How ? - Deep knowledge of Enteprise data & context Share secure data safely
- 22. Big Data benefits from Physics Could it be possible to predict behaviour of another data unit knowing others ?
- 23. Big data system is Open Energy exchange
- 24. Big Data benefits from Physics State variables Total Energy E = W + Q - W: personnal staff - Q: data transfert Data potential energy depends on: - Big Data workers expertise ! - Data itself
- 25. Review & prospect Five elements
- 26. Review & prospect • spatial/temporal Referential: project beginning • Volume mass density: EDW but also ext. data source • Periodic table: data units model ( EDW/external) • Nuclear shell model : save data unit using it (EDW) • Energy: measure your datalake potential Distant action forces: What about external influence : management, competitors, …. ?
- 27. Conclusion Data science could benefit from Physics
- 28. Do .
Editor's Notes
- UN ensemble de règles qu’il faut suivre comme en Physique ? Peut-on trouver des lois physiques qui vont nous permettre d’
- Mais en fait l’informatique & la physique
- Somme des forces extéreiures est nulle , pourvaincre l’inertie -> appliquer 1 force Physique étymologiquement veut dire : « connaissance de la nature » 1ère photo: principe d’inertie -> ituitio tendance naturelle mais si c’est vrai alors ds l’espace ça diminerait mais pas en fait ( nourriture ISS) 2ème photo: http://secrets-de-la-casserole.e-monsite.com/pages/les-mysteres-de-la-casserole/pourquoi-la-soupe-refroidit-elle-quand-on-souffle-dessus.html ( les molécules dont agités heurtes l’air et reviennet dans la soupe -> désordre en soufflant vous aidez ces molécules à s’échapper) 3ème photo: https://fr.wikipedia.org/wiki/M%C3%A9lange_homog%C3%A8ne ( mélange homogène à l’œil nu mais aussi au goût) => notion d’homogéniété absolu
- Not just about data mais il s’agit surtout d’enrichir => datalake Du coup plusieurs challenges:
- Sefaciliter la tâche pour étudier un comportement dans la nature, les physiciens définissent ce qu’ils appelent 1 système
- Étudie cet objet et tout ce qui l’entoure -> c’est ce qu’on apelle un système Suivre l’évolution au cours du temps des objets dans notre système
- Dans notre monde = il y a les actuers, les outils , les données externes/internes et moi je veux un système qui me permet d’étidier leurs interactions Afin de pouvoir améliorer … Acteurs= data engineer + data scientist
- + le système sera la data "classique"/l'information possédé par l'entreprise + l'environnement sera les datas externes(les fameux big data) + personnel(action de contact/distance) + le système sera ouvert car il y aura échange de matière avec les datas et d'énergie par le personnel
- Attention: ne pas tout prendre sous prétexte q c’est gratuit prendre seulement c quils faut car plus il y a de data plus le cleaning est d’enfer [ Pertinence]
- Origine + vecteurs directeurs Source -> provenance Metadata repository: endroit physique
- La masse d'un corps donne une indication sur la quantité de matière qui le constitue. Ainsi, la masse d’un objet est une grandeur sans direction et constante - tant que l'objet ne subit pas d'altération - qui se rattache au nombre et à la nature des atomes qui le composent. [ mon choix respecte le principe selon lequel la quantité de matière se conserve] Volume d’air/d’eau d’une personne propriété Prendre 1 masse et mettre ds 1 vlume nécessaire dans 1 propriété
- Est –ce k le masse de l’eau qui est très grande ou c’est la masse de la plume ki est petite? Non , car pièces
- Moins dense : caché Plus dense: se propage
- En considérant ma data comme référence je détermine ce qu’il faut pour ma data selon plusieurs critères: Transformation sur le nombre de champs
- Les atomes recherchent la stabilité donc loxygène va chercher à gagner 2 électrons & l’hydrogène 1 Donc quand il se rapproche nice – ils uilisent le même ensemble
- On était au niveau macroscopique mainatenant onpasse au niveau microscopique
- Il est plus facile d’arracher 1 électron de valence , qu’1 électon intermédiare et encore plus de séparer protons/neutrons dans le noyau Noyau de l’atome: PIII
- Alcalins, alcalino-terreux; halogènes,gaz nobles -> les mêmes causes entraînent les mêmes effets On peut aussi considérer qu’1 projet Big Data consiste à occuper 1maximum tous les atomes. Comme les chilistes eux cherchent à créer le plus Possible de molécules synthétiques
- Ouvrir le couverle de la Cocote minute (eau) = chalumeau+moi
- Le magnétisme est 1 force d’action à distance Les forces actions à distance : entreprises externes, manager, UE etc …. Pas considérés système isolé.
- Méthode des physiciens : depuis aristote 4 milliards d’année de R&D Pas seulement la data science mais beaucoup de pbs ont été et seront résolus en imitant la nature: bio-mimétisme Exemple: avion Bibliothèque assis