Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Transfert de connaissances de I.A par principe de minimum de complexité

36 views

Published on

Thèse "Transfert de connaissances de I.A par principe de minimum de complexité" par Pierre-Alexandre MURENA, lors de la journée Futur & Ruptures du 31 janvier 2019. Une journée scientifique pour présenter l’ensemble des travaux de thèses aboutis portant sur des thématiques prospectives du programme de l’IMT.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

Transfert de connaissances de I.A par principe de minimum de complexité

  1. 1. TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ PIERRE-ALEXANDRE MURENA
  2. 2. 1. CONTEXTE GÉNÉRAL DE LA THÈSE • 1.1 Généralités • 1.2 Le sujet 2. MOTIVATIONS • 2.1 Limitations de la théorie statistique de l’apprentissage • 2.2 Une solution ? 3. CONTRIBUTIONS PRINCIPALES • 3.1 Contributions générales • 3.2 Analogie • 3.3 Apprentissage par transfert • 3.4 Clustering multi-vues 4. CONCLUSION SOMMAIRE
  3. 3. CONTEXTE GÉNÉRAL DE LA THÈSE
  4. 4. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 4Généralités  Thèse préparée au LTCI (Télécom ParisTech) et à l’UMR MIA-518 (AgroParisTech) de janvier 2016 à décembre 2018  Soutenue le 14 décembre 2018  Codirigée par Jean-Louis Dessalles (TPT) et Antoine Cornuéjols (APT)
  5. 5. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 5Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité
  6. 6. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 6Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’appelle-t-on transfert de connaissances ? Toute situation dans laquelle une connaissance précédemment acquise ne peut pas être utilisé directement  Exemple 1: Apprentissage par transfer (transfer learning) ?
  7. 7. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 7Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’appelle-t-on transfert de connaissances ? Toute situation dans laquelle une connaissance précédemment acquise ne peut pas être utilisé directement  Exemple 1: Apprentissage par transfer (transfer learning) Changement de pose
  8. 8. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 8Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’appelle-t-on transfert de connaissances ? Toute situation dans laquelle une connaissance précédemment acquise ne peut pas être utilisé directement  Exemple 1: Apprentissage par transfer (transfer learning) Changement de contexte
  9. 9. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 9Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’appelle-t-on transfert de connaissances ? Toute situation dans laquelle une connaissance précédemment acquise ne peut pas être utilisé directement  Exemple 1: Apprentissage par transfer (transfer learning) Changement de style
  10. 10. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 10Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’appelle-t-on transfert de connaissances ? Toute situation dans laquelle une connaissance précédemment acquise ne peut pas être utilisé directement  Exemple 2: Raisonnement par analogie ABC ABD IIJJKK ?
  11. 11. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 11Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’appelle-t-on transfert de connaissances ? Toute situation dans laquelle une connaissance précédemment acquise ne peut pas être utilisé directement  Exemple 3: Apprentissage multi-vues
  12. 12. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 12Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Pourquoi un principe, et pas une règle générale ? Parce que l’induction (raisonnement du particulier vers le général) est nécessairement biaisée (no-free-lunch theorem)
  13. 13. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 13Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Qu’est-ce que la complexité ? La complexité (de Kolmogorov) est une mesure de l’information contenue estimant la « difficulté » algorithmique pour décrire cet objet.  Exemples: • 010101010101010101010101 est simple: for i=1…12: print(’01’) • 011100101100111100101110 est complexe: print(‘011100101100111100101110’)
  14. 14. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 14Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Définition de la complexité ? La complexité (de Kolmogorov) d’un objet x relative à un objet y et à une machine de Turing universelle préfixe U est définie par: 𝐾 𝑈 𝑥 𝑦 = min 𝑝 𝑙 𝑝 ∶ 𝑈 𝑝, 𝑦 = 𝑥
  15. 15. CONTEXTE GÉNÉRAL DE LA THÈSE TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 15Le sujet Transfert de connaissances en I.A. par principe de minimum de complexité  Définition de la complexité ? La complexité (de Kolmogorov) d’un objet x relative à un objet y et à une machine de Turing universelle préfixe U est définie par: 𝐾 𝑈 𝑥 𝑦 = min 𝑝 𝑙 𝑝 ∶ 𝑈 𝑝, 𝑦 = 𝑥  Pourquoi vouloir minimiser la complexité ? Principe du rasoir d’Occam: La meilleure hypothèse pour décrire une observation est la plus « simple » Principe de longueur de description minimale (MDL): Le meilleur modèle pour décrire une observation est celui qui minimise la complexité du modèle et de l’observation sachant le modèle
  16. 16. MOTIVATIONS
  17. 17. MOTIVATIONS TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 17Limitations de la théorie statistique de l’apprentissage La théorie statistique de l’apprentissage présente certaines faiblesses:  Les statistiques sont valides pour un grand nombre de données: Les résultats des statistiques sont asymptotiques : • Loi des grands nombres : Pour des variables aléatoires (𝑋𝑖)𝑖≥1 indépendantes et identiquement distribuées (i.i.d.) et pour tout 𝜖 > 0: lim 𝒏→∞ ℙ 𝑋1 + … + 𝑋 𝑛 𝑛 − 𝔼 𝑋 > 𝜖 = 0 • Inégalité de Hoeffding : Si les v.a. (𝑋𝑖)𝑖≥1 sont i.i.d. telles que 0 ≤ 𝑋𝑖 ≤ 1 et 𝑆 𝑛 = 𝑋1 + … + 𝑋 𝑛 alors: ℙ 𝑆 𝑛 − 𝔼 𝑆 𝑛 ≥ 𝑡 = exp(−2 𝑡2/𝑛)
  18. 18. MOTIVATIONS TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 18Limitations de la théorie statistique de l’apprentissage La théorie statistique de l’apprentissage présente certaines faiblesses:  Les statistiques requièrent que les données soient indépendantes et identiquement distribuées : • Loi des grands nombres : Pour des variables aléatoires (𝑋𝑖)𝑖≥1 indépendantes et identiquement distribuées (i.i.d.) et pour tout 𝜖 > 0: lim 𝒏→∞ ℙ 𝑋1 + … + 𝑋 𝑛 𝑛 − 𝔼 𝑋 > 𝜖 = 0 • Inégalité de Hoeffding : Si les v.a. (𝑋𝑖)𝑖≥1 sont i.i.d. telles que 0 ≤ 𝑋𝑖 ≤ 1 et 𝑆 𝑛 = 𝑋1 + … + 𝑋 𝑛 alors: ℙ 𝑆 𝑛 − 𝔼 𝑆 𝑛 ≥ 𝑡 = exp(−2 𝑡2/𝑛)
  19. 19. MOTIVATIONS TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 19Limitations de la théorie statistique de l’apprentissage La théorie statistique de l’apprentissage présente certaines faiblesses:  Les statistiques ne s’appliquent pas directement à l’apprentissage symbolique Albert Einstein est à la physique ce que Richard Wagner est à la musique Quels espaces ? Quelles variables aléatoires ? Quelles distributions ?
  20. 20. MOTIVATIONS TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 20Une solution ? La complexité semble parfaitement indiquée pour résoudre les problèmes de transfert :  La complexité s’applique à tout objet calculable : Elle peut donc s’appliquer aussi bien pour des données vectorielles que symboliques.  La complexité est plus générale que les probabilités : Elle permet de décrire n’importe quel processus génératif (pas uniquement une génération aléatoire)  Les probabilités sont un cas particulier de complexité : 𝐾 𝑋 𝜇) = − log 𝜇(𝑋)
  21. 21. CONTRIBUTIONS PRINCIPALES
  22. 22. CONTRIBUTIONS PRINCIPALES TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 22Contributions générales  Contributions générales Un principe général pour le transfert d’une source vers une cible: • Les observations X et Y sont décrites par un « modèle » • Le transfert d’information se fait au niveau du modèle et non des observations. • Les choix de description des différents objets est un paramètre de la machine. Ce modèle a été validé sur: • Les analogies alphanumériques (validation cognitive) • Des données synthétiques et réelles
  23. 23. CONTRIBUTIONS PRINCIPALES TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 23Analogie  Contributions dans le domaine du raisonnement par analogie Une validation cognitive: Les humains privilégient les analogies de complexité minimale. Résultats présentés dans l’article « A complexity based approach for solving Hofstadter’s analogies. » Murena, P. A., Dessalles, J. L., & Cornuéjols, A. (2017, June). In Computational Analogy Workshop, ICCBR. Si ABC se transforme en ABD, en quoi se transforme…. ?
  24. 24. CONTRIBUTIONS PRINCIPALES TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 24Analogie  Contributions dans le domaine du raisonnement par analogie Implications sur les analogies géométriques: Dans certains espaces, certaines opérations sont naturellement simples. Les analogies qui en découlent ne respectent pas nécessairement les axiomes usuels. Résultats présentés dans l’article « Opening the Parallelogram: Considerations on Non- Euclidean Analogies. » Murena, P. A., Cornuéjols, A., & Dessalles, J. L. (2018, July). In International Conference on Case-Based Reasoning (pp. 597-611). Springer, Cham. Paris France Helsinki Finlande
  25. 25. CONTRIBUTIONS PRINCIPALES TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 25Apprentissage par transfert  Contributions dans le domaine de l’apprentissage par transfert Une validation expérimentale: Un modèle simple (basé sur des prototypes) peut être appliqué à notre principe de transfert et donne de bons résultats expérimentaux. Résultats présentés dans l’article « Minimum description length principle applied to structure adaptation for classification under concept drift. » Murena, P. A., & Cornuéjols, A. (2016, July). In, 2016 International Joint Conference on Neural Networks (pp. 2842-2849). IEEE. 𝐾 𝑀 = 𝐾 𝑀𝑆 + 𝐾 Δ𝜇 + ෍ 𝑐 𝐾(Δ𝜇c) + 𝐾(Δ𝑀) 𝐾 𝑋 𝑀 = ෍ 𝑛 min p 𝐾(𝑋 𝑛 − 𝑀 𝑝) 𝐾 𝑌 𝑋, 𝑀 = ෍ 𝑛 𝕀(𝑌𝑛 ≠ ℎ 𝑀 𝑋 𝑛 )
  26. 26. CONTRIBUTIONS PRINCIPALES TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 26Clustering multi-vues  Contributions dans le domaine du clustering multi-vues Une modélisation: La complexité permet de mesurer l’information locale contenue dans chacune des vues ainsi que l’information transférée. Notre méthodologie permet de développer la première approche de clustering multi-vues utilisant à la fois les descriptions locales et la collaboration. Résultats présentés dans l’article « An Information Theory based Approach to Multisource Clustering. » Murena, P. A., Sublime, J., Matei, B., & Cornuéjols, A. (2018, July). In IJCAI (pp. 2581-2587).
  27. 27. CONCLUSION
  28. 28. CONCLUSION TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 28  Ce que j’ai proposé : • Point de départ : Les méthodes statistiques sont puissantes mais pas adaptées au transfert • Ma question : La complexité de Kolmogorov peut-elle être une alternative ? J’ai cherché à répondre à cette question en étudiant différents problèmes de transfert : • Analogie (symbolique) • Apprentissage par transfert (numérique, supervisé, offline) • Apprentissage incrémental (supervisé, en ligne, numérique ou symbolique) • Clustering multi-vues (numérique, non-supervisé)
  29. 29. CONCLUSION TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 29  Les résultats que j’ai obtenus… … sont positifs ! • Bons résultats expérimentaux sur des données artificielles et réelles • Grande diversité de modèles testés • Des critères et méthodes consistants avec l’état de l’art  Quelles perspectives? Mon travail ouvre de nombreuses pistes de recherche : • Théorie : Une nouvelle définition de la transférabilité et de l’apprenabilité ? (travail en cours) • Du transfert à l’induction : Le principe MDL permet-il de rendre compte d’une problématique plus général de l’induction : la non-indifférence à la question future ? • Application : Tester des modèles plus complexes
  30. 30. CONCLUSION TRANSFERT DE CONNAISSANCES EN I.A. PAR PRINCIPE DE MINIMUM DE COMPLEXITÉ - P.-A. MURENA 30 Merci pour votre attention !

×