L’approche algorithmique de l’aléatoire

L’approche algorithmique de l’aléatoire Hector Zenil Institut d’Histoire et de Philosophie des Sciences et des Techniques (Paris 1/ENS/CNRS) et Laboratoire d’Informatique Fondamentale de Lille (CNRS) 1 décembre 2008Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 1 / 69

1 Introduction des approches algorithmiques2 Complexité algorithmique3 Raccourcis du nombre π4 L’aléatoire déterministe5 La dépendance du langage6 La valeur ontologique et épistémologique des déﬁnitions7 Le scepticisme sur la nature (in)déterministe du processus générateur8 La contingence de l’aléatoire quantique9 Conclusions Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 2 / 69

Les notions intuitives de l’aléatoireDepuis toujours, on associe de manière intuitive l’aléatoireavec les notions de : se produire sans loi. ne pas être prévisible. toute absence de structure, de régularité. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 2 / 69

La correspondance des notions mathématiquesOn trouve que les approches mathématiques gardent le même esprit car àchacune des notions intuitives de l’aléatoire correspond une de cesapproches algorithmiques : La complexité algorithmique (Kolmogorov, Chaitin) Les martingales effectives (Schnorr) Les tests effectifs ou ’typicalité’ (Martin-Löf)Ces approches consistent à utiliser la théorie algorithmique de l’informationpour définir ce qu’est l’aléatoire. Les auteurs de chaque approche avaienttous dans leur esprit la motivation de capturer ce phénomène.Ultérieurement d’autres applications ont donné une vie propre à la théorie,surtout par rapport à la valeur méta-mathématique que nous exposons plustard. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 3 / 69

Comment déﬁnir la complexité algorithmique d’un objet ?Selon la théorie classique des probabilités, sous une distribution uniforme,toute suite à n chiﬀres (par exemple pour des suites qui encodent lesrésultats d’un jeu de pile ou face avec une pièce non truquée) : PPPPPPPPPPPPPPPPPPPPPPPPP 1 PFPFPFPFPFPFPFPFPFPFPFPFPF PFFPPFPPPFFFFPPFPPFPFPFFFPelles ont toutes la même probabilité P(s) = 1/2n comme résultat de lancerla pièce n fois. Alors qu’évidemment si on obtient la première on supposeraque la pièce était truquée, et si on tombe sur la deuxième on lasoupçonnera aussi, tandis que si on tombe sur la troisième, cela sembleraplus normal. On voudrait formaliser l’idée qu’on n’attend pas de régularitésd’un processus dans une suite d’événements résultant du hasard. 1. P=pile, F=face Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 4 / 69

Définition de la complexité algorithmique(Kolmogorov, Chaitin)On peut alors définir la complexité d’une suite de la façon suivante :Definition 1.1La complexité KL (s) d’une suite binaire finie s sous un langage L est :KL (s) = longueur du plus court programme p(s) qui engendre s en L.On parle aussi de programme minimal de s 2 .Idée : est simple ce qui se décrit brièvement. 2. s’il y a plusieurs programmes de taille minimum, p(s) est le premier dansl’ordre lexicographique. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 5 / 69

Application de la complexité algorithmiqueDonc, en utilisant la complexité algorithmique, on peut déterminer que lasuite : 00000000000000000000000000000000000000000000000000a une complexité algorithmique plus faible que celle de la suite : 26535897932384626433832795028841971693993751058209car la première peut être produite par un programme du type ’imprime 50zéros’ qui est certainement plus court qu’un programme de la deuxièmesuite. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 6 / 69

Définition de l’aléatoire par le moyen de la complexitéalgorithmiqueSi s est une suite finie :Definition 1.2s est aléatoire si K (s) > longueur (s) + c.Idée : Une suite finie est aléatoire, si et seulement si, elle est incompressible.Si s est une suite (séquence) infinie :Definition 1.3s est c-aléatoire, si et seulement si, il existe une constante c telle que lacomplexité algorithmique (auto-délimitée) des n premiers chiffres de lasuite est toujours plus grande que longueur (sn ) − c. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 7 / 69

Définition de l’aléatoire par le moyen de la complexitéalgorithmiqueLe terme c est introduit pour s’assurer que même dès début pour lessegments initiaux et pour les courtes suites la définition est satisfaite.Evidemment, si s est infinie, on ne peut jamais tester lacompressibilité de tous les segments initiaux sn pour toute n et on nepeut donc jamais se prononcer de manière définitive sur le caractèrealéatoire de s.D’autre part, si s est une suite finie, elle peut toujours faire partied’une suite infinie aléatoire s et donc le caractère non-aléatoire d’unetelle suite ne peut jamais être absolu (elle est dans le meilleur des cas"semblant aléatoire" ou "random-looking"). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 8 / 69

Propriétés de K K (s) n’est pas calculable. La fonction s → K (s) n’est pas récursive (c’est-à-dire pas calculable par algorithme) aucun algorithme ne peut, pour tout suite s qu’on lui fournit en données, calculer en temps ﬁni, la valeur de K (s). En pratique, pour évaluer K (s), on utilise des compresseurs (sans pertes) : la taille du ﬁchier comprimé de s par un algorithme C de compression est alors une valeur approchée (une borne supérieur) de K (s). La non-calculabilité de K (s) a pour conséquence qu’on ne peut jamais être certain d’être proche de sa valeur (car par exemple une régularité non vue par le compresseur utilisé peut être présente dans s). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 9 / 69

L’approche par les martingalesOn peut aussi aborder ce même problème des suites qui ne semblent pasaléatoires en d’autres termes. Pensons qu’on enregistre chaque jour etchaque nuit avec un 0 et un 1. On obtient donc une suite de plusieursmilliards de chiﬀres, un pour chaque jour ou nuit depuis des milliardsd’années 3 jusqu’à aujourd’hui : . . . 010101010101010101010101010101010101010On se demande ensuite quel est le chiﬀre suivant, c’est-à-dire, si le soleil selèvera demain. Ceux qui croient à la théorie classique des probabilitéspourraient parier pour 0 ou 1 sans aucune distinction mais c’est la théoriealgorithmique de l’information qui explique pourquoi personne ne parierapour 0, car évidemment le fait qui produit le jour et la nuit n’est pas lerésultat du hasard, mais d’un processus. 3. si on croit que cela est arrivé comme cela, sinon on peut commencer depuisla prise de connaissance de chacun. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 10 / 69

En favorisant la préservation des structuresEn général, lorsqu’on observe une suite de ce type, on tendtoujours à favoriser les chiﬀres qui maintiennent le motif dela suite. Plus longue est la suite, plus on est certains deparier. Avec moins de régularités, le pari devient plus risqué.On voudrait capturer ce phénomène de manière formelle. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 11 / 69

Probabilité algorithmique (Chaitin, Levin, Solomonoﬀ, Gács)Vous ne parierez pas pour "le soleil ne se lèvera pas demain" parcequ’obtenir un 1 après la suite . . . 01010101010 est algorithmiquement plusprobable.La semi-mesure m (qualiﬁée de miraculeuse par Ming Li et WalterKirchherr) indique que plus une suite s est simple, plus sa probabilité m(s)comme résultat d’un calcul, est grand : m(s) = 1/2K (s)+cIdée : plus une suite s est aléatoire plus sa probabilité m(s) est petite. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 12 / 69

La métaphore du singe dactylographique[Borel, 1952] Avec assez de temps, un singe qui tape (onassume que chaque événement est indépendant, c’est-à-direque le singe tape vraiment de manière aléatoire)indéﬁniment sur une machine à écrire dactylographieran’importe quel texte (e.g. le roman "Les Misérables"). Laprobabilité d’obtenir Les Misérables serait donc 1/50n , avecn la taille de l’oeuvre de Victor Hugo et 50 le nombre detouches dans la machine à écrire. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 13 / 69

La métaphore du singe dactylographiqueLa probabilité (m(s)) de produire le roman des Misérables en remplaçant lamachine à écrire par un ordinateur [Chaitin 1], est beaucoup plus forte(même si elle reste toujours petite car la longueur du texte est assezgrande), car la complexité K (s) du texte est très faible par rapport à unesuite aléatoire de la même taille.Autrement dit, le singe a beaucoup plus de chance de produire un roman enle plaçant sur un ordinateur (ou chaque touche représente un programme)que sur une machine à écrire (ou chaque touche est une donnée). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 14 / 69

La métaphore du singe dactylographiqueLe singe qui est une métaphore d’une source de données aléatoires devientune analogie d’une source de programmes aléatoires. Cependant, il fautsouligner qu’à l’inverse de la valeur de K (s), si on tire des programmes auhasard on verra que la plupart de ces programmes ne produisent pas deséquences aléatoires.Plus encore : le singe pourrait suivre une énumération eﬀective des touchesest le résultat de m(s) ne variera pas, tandis que s’il suit une énumérationdans le cas de la machine à écrire évidemment il ne produira le roman quesi l’énumération est exactement celle de l’ordre des lettres dans le romandes Misérables. En d’autre mots, le requis d’une source aléatoire est plusfaible pour la mesure m (on pourrait remplacer sans problème le singe"aléatoire" par une source déterministe). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 15 / 69

Jeux de pariDans n’importe quel jeu, à chaque fois que l’on mise, il existe uneprobabilité p de gagner et une probabilité q de perdre.Supposons que, comme à pile ou face, celui qui gagne récupère sa miseplus une somme égale à sa mise.Lorsqu’un jeu est en votre faveur (p supérieur à 1/2), même si vousaffrontez un joueur infiniment riche avec une somme de départ finie, vousdeviendrez infiniment riche dans une bonne proportion de cas.Si vous avez une somme de départ infinie, vous deviendrez toujours richeen jouant assez longtemps.Cependant, si p est inférieur à 1/2 et si vous ne disposez que d’une sommede départ finie, vous perdrez presque toujours. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 16 / 69

La stratégie de la martingalePar contre, si p est inférieur à 1/2 et vous avez une sommeinﬁnie de départ vous pouvez gagner avec une stratégie dejeu...Une martingale est une stratégie de jeu et la martingalegéométrique, c’est La martingale et elle consiste à doublerla mise K à chaque fois qu’on perd jusqu’à ce que l’ongagne.Lorsque cela arrive, on a perdu K + 2K + 4K + . . . + 2n Kmais on gagne 2n+1 K , donc on a gagné à la ﬁn K . Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 17 / 69

L’aléatoire selon SchnorrDans le raisonnement des martingales, aucune référence n’est faite auxrésultats du jeu à chaque fois. Ce que ces stratégies mettent en évidence,c’est que si le jeu n’a aucun biais, prendre en compte le passé est inutile !Une séquence s est aléatoire s’il n’existe aucune martingale (effective)gagnante lorsqu’on parie sur le prochain chiffre de s.Definition 1.4Il n’existe aucune martingale M sur une suite s telle que :lim supn M(sn ) = ∞Où M est le gain, sn les segments initiaux de la séquence s.Idée : personne ne peut gagner en pariant en présence d’une suitealéatoire. 4 4. Déjà en 1928 von Mises parlait du "principe de l’impossibilité de pari" [vonMises] Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 18 / 69

L’aléatoire de Martin-LöfL’univers de Cantor dénoté par 2ω contient toutes les suites binaires infinies(elles peuvent aussi se mettre en correspondance avec les expansions desnombres réels et donc être considérés comme des nombres réels).Definition 1.5Une suite s ∈ 2ω est aléatoire, si et seulement si, s réussit "tous les testsstatistiques effectifs".On trouve qu’il y a un nombre dénombrable de tests statistiques effectifs 5et seulement un ensemble de mesure de Lebesgue nulle de suites nesatisfaisant pas la condition de Martin-Löf. Donc la plupart des suites sontaléatoires au sens de Martin-Löf.Idée : une suite est aléatoire au sens de Martin-Löf, si et seulement si, s atoutes les propriétés communes à la plupart des suites dans l’univers deCantor (toutes les suites binaires infinies). 5. On prouve l’existence d’un test universel (auquel on ne peut pas y avoiraccès) tel que si une suite passe ce test elle passera n’importe quel autre teststatistiqueZenil (IHPST) Hector effective. L’approche algorithmique de l’aléatoire 19 / 69

L’aléatoire de Martin-LöfPar exemple, parmi les propriétés communes, dans l’univers de Cantor, estl’être transcendant, être normal, suivre la loi des grands nombres, avoir plusde 0 que de 1 dans une sous-suite à n chiffres ou suivre la loi du logarithmeitéré.Il est important de se rendre compte que la définition de Martin-Löf n’estdéfinie que pour des suites infinies. C’est alors une propriété intrinsèque decette définition ne pas pouvoir exhiber une suite aléatoire individuelle. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 20 / 69

Propriétés des suites Martin-Löf aléatoiresParmi d’autres propriétés : Une suite aléatoire à la Martin-Löf n’est pas calculable, et une suite calculable ne peut pas être aléatoire au sens de Martin-Löf. Presque tous les suites sont aléatoires au sens de Martin-Löf, même si ni les suites algébriques ni les suites calculables ne sont aléatoires !Le consensus autour de la déﬁnition de Martin-Löf c’est qu’elle est labonne déﬁnition mathématique de l’aléatoire. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 21 / 69

Convergence des approchesSchnorr prouve qu’une suite s est Martin-Löf aléatoire est incompressibleau sens de la complexité algorithmique (auto-délimitée). Martin-Löf prouvequ’une suite est aléatoire si elle est aléatoire au sens de la complexitéalgorithmique (auto-delimitée).On a donc :complexité algorithmique (auto-delimitée) ⇔ martingale effectives ⇔ testsstatistiques effectifs (typicalité) 6Autrement dit :incompressibilité ⇔ imprévisibilité ⇔ absence de régularités ! 6. au niveau du premier degré de Turing, car Schnorr lui-même a prouvéqu’il y a des nombres aléatoires au sens de Schnorr qui sont plus difficiles que leproblème de l’arrêt des machines de Turing, tandis que tous les nombres aléatoiresà la Martin-Löf appartiennent au même degré de Turing, le degré équivalent auproblème de l’arrêt. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 22 / 69

Convergence des approchesC’est ce qu’on pouvait attendre d’une définition qui capture bien lephénomène de l’aléatoire. Car la convergence des définitions peut signifierqu’on a touché quelque chose de fondamental, puisque plusieursdéveloppements théoriques qui essayent de saisir le même phénomène demanière indépendante deviennent équivalents à la fin.C’est ce qui est arrivé lorsqu’on a essayé de saisir le concept de calcul et ona trouvé que les théories développées étaient équivalentes (le lambdacalcul, les machines de Turing, les systèmes de Post, les fonctionsrécursives de Kleene, etc.) 7 7. Par contre, ces arguments de convergence ont été critiqués par certainsauteurs, notamment Georg Kreisel [Kreisel] Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 23 / 69

Conséquence de la convergence des approchesUne fois qu’on obtient que les trois approches algorithmiques de l’aléatoire sontéquivalentes, on peut décider d’en approfondir une seule car on sait que ce qu’ondéduit d’une approche, on le déduit des autres. Il faut cependant revenir auxautres approches car chacune fournit une interprétation diﬀérente du phénomène,quelquefois mises en relief plus par une que par l’autre.Nous allons exposer quelques particularités de l’approche par le moyen de lacomplexité algorithmique, qui pourraient être considérées comme des défauts oudes problèmes que la théorie laisse sans réponse déﬁnitive.Que la théorie ne fournisse pas de réponses absolues aux questions sur l’aléatoirepeut avoir plusieurs interprétations : soit parce que la réponse de la théorie estprécisément qu’il n’y en a pas soit parce que la théorie n’est pas toujourscomplète et qu’elle ne déploie pas encore tout son pouvoir soit une combinaisonde ces deux dernières contraintes, l’une ontologique et l’autre épistémologique.Nous reviendrons sur ces points plus tard... Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 24 / 69

La nature subjective de l’aléatoireHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 25 / 69

La nature subjective de l’aléatoire pour des suites finiesOn pourrait convenir d’appeler complexes au sens de la théoriealgorithmique, les suites finies telles que : K (s) > longueur (s)/2 Mais le seuil longueur (s)/2 est arbitraire.Il n’y a pas de convention acceptée (même au sens mathématique)pour une telle définition. Il y a une phase de transition difficile àdécider qui ne dépend que d’un choix arbitraire (la place du seuil). Lecaractère aléatoire se rend seulement moins subjectif au delà duvoisinage du seuil, c’est-à-dire aux extrêmes. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 26 / 69

La nature subjective de l’aléatoire pour des suites ﬁniesIl faut remarquer que :(par un raisonnement combinatoire assez simple)Une suite tirée au hasard a toutes les chances d’avoir une fortecomplexité algorithmique. Parmi toutes les suites de 0 et de 1 delongueur n, pour n ﬁxé, moins d’une suite sur 1024 a une complexité < n − 10, c’est-à-dire peut être comprimée de plus de 10 digits ; moins d’une suite sur un million a une complexité < n − 20, c’est-à-dire peut être comprimée de plus de 20 digits. etc.Une suite tirée au hasard est très rarement compressible. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 27 / 69

La nature subjective de l’aléatoire pour des suites ﬁniesLe seuil (dont on a parlé auparavant) est donc très pertinent pourdécider le caractère aléatoire de la plupart des suites, donc celles quisont facilement distinguables (c’est-à-dire qui sont loin de la portéedu voisinage du seuil) ne sont pas très nombreuses.En d’autres mots, pour la plupart de suites (car il ne sont pas assezfacilement compressibles) le caractère d’être aléatoire est tout à faitsubjectif. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 28 / 69

La structure cachée des nombresHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 29 / 69

La structure cachée du nombre πEn général, étant donné une suite quelconque il n’est pas facile de la distinguercomme aléatoire, même avec un seuil justiﬁé de certaine manière. Par exemple, ladeuxième suite du dernier exemple, semble aléatoire au sens de la complexitéalgorithmique : 26535897932384626433832795028841971693993751058209mais elle ne l’est pas car il s’agit en fait de la suite des décimales du nombre π àpartir de la sixième chiﬀre (les cinq premières sont 14159). π n’est doncabsolument pas algorithmiquement aléatoire, puisque le simple fait que l’on puissel’écrire sous formes de séries permet d’écrire un programme de taille bieninférieure à n pour calculer n décimales. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 30 / 69

La structure cachée du nombre πOn doit donc considérer les décimales du nombre π comme un exemple decomplexité organisée 8 (ou de complexité aléatoire faible) car π peut êtreproduit par des programmes courts qui engendrent des segments initiaux dechiﬀres de π.Idée : L’organisation de π est cachée, mais elle est extrêmement ordonnéeet donc algorithmiquement non-aléatoire . 8. complexe peut aussi signiﬁer : organisé, fortement structuré, riche en infor-mation. Il y a deux types de complexité : la complexité aléatoire et la complexitéorganisée. On parlera ici plutôt de la complexité aléatoire. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 31 / 69

La structure cachée des nombresCette suite semble à première vue aussi aléatoire :0110100110010110100101100110100110010110011010010110100110010110Cependant, il s’agit de la suite de Thue-Morse construite de la façon suivante : (c’est la concaténation des suites précédentes niées) 0 01 0110 01101001 0110100110010110 ... tm(n + 1) = tm(n) <> Not[tm(n)]Elle vient donc d’un algorithme assez simple (voir court).Idée : En général, la complexité aléatoire n’est pas facile à distinguer. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 32 / 69

Raccourcis du nombre πLes décimales de π n’ont rien d’aléatoire selon la théoriealgorithmique de la information, mais la distribution des chiffres oudes groupes consécutifs de n chiffres de ses décimales a cependant lescaractéristiques d’un phénomène aléatoire.Les formules BBP (Bailey-Borwein-Plouffe) permettent d’évaluer len-ième chiffre de π en base 16 9 sans calculer les précédents, le touten temps n × ln(n).Il est pertinent de remarquer que la complexité algorithmique neprend pas en compte le temps du calcul (le nombre de pas qu’uncalcul prend). 9. ou en n’importe quelle base multiple de 2n . Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 33 / 69

La question de l’existence des raccourcisOn peut alors formuler la question de savoir si pour tout nombre ilexiste ces types de raccourcis.D’après Stephen Wolfram [Wolfram], cela n’est pas le cas en général(par exemple la règle 30 des automates cellulaires). D’après lui du faitque tout système de calcul non-trivial atteint un pouvoir de calculégalement sophistiqué. Un système ne peut pas raccourcir le calculd’un autre sans passer par toutes les étapes (ou la plupart des étapes)précédentes du système qu’on essaye de raccourcir 10 . Soit parcequ’on ne peut pas trouver le raccourci soit parce qu’il n’existe pas(Wolfram ne prend pas de position philosophique à cet égard).Wolfram appelle ce phénomène principe d’irréductibilité de calcul. 10. [Dubucs] Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 34 / 69

La profondeur logique de BennettUne tentative pour expliquer ce phénomène, c’est la "profondeurlogique" de Charles Bennett. La profondeur logique exprime le"contenu en calcul" d’un objet fini [Bennett, 1986].La profondeur logique d’une suite s est définie par :Definition 3.1P(s) = temps de calcul du programme minimal de s.Ce qui tient en compte à la fois la complexité algorithmique (la tailledu programme qui engendre s) et le nombre de pas du calcul que ceprogramme prend pour l’engendre. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 35 / 69

L’aléatoire intrinsèque de WolframUne conséquence du principe d’irréductibilité de Wolfram, c’est quedes systèmes simples qui atteignent un pouvoir de calcul minimalpeuvent produire une sortie si complexe qu’aucun autre système nepeut la déchiﬀrer en avance (le raccourcir) sans le parcourir étape parétape, ce qui donne lieu à la déﬁnition d’aléatoire déterministe deWolfram.Pour illustrer ce phénomène Wolfram utilise des exemplesd’automates cellulaires. En voici : Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 36 / 69

Un automate qui préserve la nature des entrées Figure: Automate cellulaire élémentaire à règle 22. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 37 / 69

Un automate qui préserve la nature des entréesÀ des entrées simples, des sorties simples. À des entrées complexes des sortiescomplexes.Figure: Automate cellulaire élémentaire à règle 22 : condition initiale périodiquen = 2 (...010101...). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 38 / 69

Brisure de symétrieFigure: Automate cellulaire élémentaire à règle 22 : condition initiale périodiqueasymétrique n = 3 (...01101...). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 39 / 69

L’aléatoire extrinsèque venu d’un système déterministeLe système le laisse passer (l’ampliﬁe peut-être) vers la sortie, mais la source del’aléatoire vient de l’extérieur. Figure: Automate cellulaire à règle 22 à condition initiale aléatoire. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 40 / 69

L’aléatoire intrinsèqueLe système produit de l’aléatoire même à partir de conditions initiales simples(voir même une cellule noire). Figure: Automate cellulaire à règle 30. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 41 / 69

L’aléatoire intrinsèqueD’après Wolfram, la sortie de l’automate cellulaire à règle 30 produitune sortie assez complexe pour être considérée comme aléatoire. Ilappelle ce type d’aléatoire venu du système même (opposé àl’aléatoire venu de l’extérieur et transporté/transferé vers la sortie) del’aléatoire intrinsèque.Pour Wolfram, ce type d’aléatoire comme celui de la règle 30 11 estaussi bon en qualité que celui venu des systèmes non-déterministes(s’il y en a, car Wolfram ne se prononce pas à cet égard). 11. Wolfram utilise un automate cellulaire comme générateur de nombres aléa-toires dans son logiciel Mathematica, ce qui rend évident la valeur qu’il donne àses croyances et le défaut de trouver la manière de déchiﬀrer ce type d’automatescellulaires si simples qu’ils soient, même beaucoup plus simples que les chiﬀresde π. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 42 / 69

L’aléatoire intrinsèquePourtant, l’aléatoire algorithmique s’oppose évidemment à l’aléatoireintrinsèque de Wolfram car ce dernier, comme pour la règle 30, vient d’unerègle très courte qui génère l’évolution complète de l’automate (on n’abesoin que de 8 bits pour l’en décrire).Cependant, lorsqu’on essaie de comprimer la sortie de l’automate à règle 30aucun compresseur ne semble bien la comprimer, comme cela arrive aussipour les chiﬀres décimaux du nombre π. Aucun compresseur ni l’analysesoigneuse des chercheurs n’ont réussi à trouver des motifs réguliers dans lapartie droite de la règle (par exemple, une période). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 43 / 69

La déﬁnition de la complexité algorithmique, est-elle robuste ?Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 44 / 69

Théorème d’InvarianceOn peut se demander si la définition de la complexité algorithmique, est robuste :Est-ce qu’en changeant de langage (ou de machine universelle de Turing), on nechange pas la complexité mesurée ?Le théorème d’invariance donne sens à la définition de la complexitéalgorithmique :Théorème 5.1Si L et M sont deux machines de Turing universelles, et si on note KL (s)(respectivement KM (s)) la complexité algorithmique quand on utiliseL(respectivement M) comme machine de référence, alors il existe une constantecL,M telle que pour toute suite binaire finie s : |KL (s) − KM (s)| < cL,MIdée : On utilise la possibilité d’écrire en L un compilateur pour M, etréciproquement. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 45 / 69

Le choix de machine universelle est pertinentAlors que la formalisation de la notion d’algorithme dans la théorie de lacalculabilité a permis de fixer le modèle de calcul sur lequel on peut définir lacomplexité algorithmique d’une suite (avec une machine universelle de Turing)sans la relativiser à aucun autre modèle de calcul (ce qui a permis d’encadrer lanotion de complexité) la dépendance du langage joue un rôle important lorsqu’onveut évaluer la complexité d’une suite fini, comme le théorème d’invariance le meten évidence.Pour les courtes suites par exemple, parler de K (s) ne semble pas avoir vraimentde sens car la constante additive c est trop forte par rapport à la taille des suitescourtes.Pourtant, on a envie de dire que :01010101 est plus simple que 1010110On pourrait essayer de les comprimer pour approcher la valeur de la complexitéalgorithmique... Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 46 / 69

Le problème de la compressionCependant, si vous essayez de comprimer une suite aussi courte, vousn’obtiendrez rien. En fait, la suite compressée sera plus longue ! 12Flatten@(IntegerDigits[#, 2] & /@ToCharacterCode/@StringSplit[Compress["01010101"], ""])=1100011110101100101100101011110001010100101010010011011101100001111011011011010110101010110011000111100000111101111001100100101000010100000110000101101001110001010000011110011100010KMathematica (”01010101”) ≈ 207une méthode permet d’évaluer la complexité algorithmique des suites,même si elles sont courtes... 12. Attention : si vous composez un texte avec des 0 et de 1 tirés au hasard,n’importe quel compresseur de texte le réduira d’environ 7/8 (car chaque 0 ou 1est codé sur 8 bits –codage ANSI). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 47 / 69

Une déﬁnition indépendante du langageVoici l’idée :Si on fait fonctionner une machine universelle (àprogrammes auto-délimités) en lui donnant un programmeau hasard, alors elle produit la suite s avec la probabilitém(s) (la mesure de Levin [Levin 1]).alors calculer m(s) pourrait nous approcher de K (s) par laformule : m(s) = 1/2K (s)+c Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 48 / 69

Vers une déﬁnition stableLes expériences suggèrent qu’on peut donner un sens stable à m(s),même pour des s petites en procédant expérimentalement : en faisant fonctionner des mécanismes de calculs de manière systématique (machines de Turing, automates cellulaires, etc.) pour produire des suites s au hasard ; ou en prenant des données du monde réel et en les traduisant en suites de 0 et de 1 ; puis en observant quelles sont les distributions obtenues pour les s.Ce travail a été fait (et est toujours en train de se développer)[Delahaye, Gauvrit, Zenil]. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 49 / 69

Convergence en distributionNos distributions expérimentales trouvées (surtout les classements) sontrelativement stables. On croit avoir trouvé une distribution distinguée me qu’onconjecture égale à la distribution générée à partir de la mesure m. Figure: Comparaison des distributions de fréquences des sorties : TM et CA. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 50 / 69

Convergence en distributionFigure: Graphique de corrélation des distributions des fréquences des sorties : TMet CA. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 51 / 69

Convergence en distributionOn propose alors une distribution naturelle, et de définitions de machines deTuring naturelles et c-exactes si elles s’approchent de la distribution naturelle.Definition 5.2Une machine universelle de Turing est naturelle si elle préserve depuis le début(donc même pour les courtes suites) l’ordre des suites imposé par la distributionnaturelle.Definition 5.3Une machine universelle de Turing est c-exacte si elle ne s’écarte jamais par plusd’une distance c des valeurs de la distribution naturelle.Il semble donc possible de définir m (et donc K ) d’une manière indépendante dulangage. Ce qui rend stable la définition de complexité algorithmique. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 52 / 69

La valeur ontologique et épistémologique des déﬁnitionsHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 53 / 69

Le problème de l’aléatoire localDe la définition de séquence aléatoire, on déduit que toute suite finieest contenue dans n’importe quelle séquence aléatoire infinie. Celaimplique que si s n’est pas une suite finie aléatoire définie commetelle par le moyen de la théorie, elle n’est toujours que partie d’uneséquence infinie aléatoire ! Et à l’inverse : si s est une suite finiealéatoire, elle peut toujours être partie d’une suite plus longue nonaléatoire.Théorème 6.1Toute suite (même non aléatoire) est partie d’une séquence infiniealéatoire (pire encore : elle est partie de toutes les séquencesaléatoires dans chacune une infinité de fois !). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 54 / 69

Le problème de l’aléatoire localDonc évidement, les définitions ne sont pas tout à fait compatibles,car l’une implique que l’autre ne fait aucune vraie distinction. Elle nepermet pas de discriminer entre les suites finies qui sont aléatoires decelles qui ne le sont pas.En fait, la définition 13 de suite finie aléatoire n’a pas vraiment de sensen ces termes algorithmiques où on laisse coexister une définitionpour les suites finies et une autre pour les suites infinies (même si lapremière peut être décrite en termes de la seconde comme casparticulier). 13. Une définition est une définition quand elle permet d’opposer ce qui lesatisfait à ce qui ne le satisfait pas. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 55 / 69

L’aléatoire fini vs. l’aléatoire infinieD’autre part, dû au fait que la définition de séquence aléatoire infinien’apporte rien au sens épistémologique, quand on n’a pas accès ni àla connaissance des nombres aléatoires ni aux tests pour lesdémontrer ou exhiber, c’est la définition de l’aléatoire pour des suitesfinies qui apporte une valeur épistémologique. Car même si elle n’estpas capable de se positionner sur le caractère absolu d’une suite, elleapporte des outils pour s’approcher et donner un sens (même si c’estun sens subjectif) à la l’aléatoire en termes de complexité.De plus, la valeur épistémologique pour apporter de la connaissancesur une suite quelconque, soit qu’elle soit aléatoire soit qu’elle ne lesoit pas, n’est qu’approchable, car elle n’est pas calculable ; c’est àdire, même s’il y a une méthode de calcul, le calcul mené ne garantitpas toujours d’obtenir la réponse correcte (l’exemple concret, c’estdemander si le programme qui engendre une suite est vraiment le pluscourt ou non). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 56 / 69

La valeur meta-épistémologique de la définition del’aléatoire pour des suites finiesEn dépit du manque de valeur épistémologique de la définition del’aléatoire pour de suites infinies, car elle ne fournit aucune méthodepour exhiber les suites qu’elle essaie de caractériser, cette définitionfournit de la valeur ontologique et ce que j’appelle une valeurméta-epistémologique très riche.D’un coté, parce que la définition de l’aléatoire pour de suites infiniescaractérise de manière absolue le caractère aléatoire d’une suiteinifine. D’autre coté, quelques fondateurs de la théorie (notammentChaitin [Chaitin 2]) soutiennent que la valeur de la théorie n’est queméta-mathématique parce qu’elle ne fournit que de la connaissancesur la limite de la connaissance même. Chaitin démontre qu’on peutobtenir des résultats d’indécidabilité par les biais de la complexitéalgorithmique (ce qu’on appelle le principe heuristique de Chaitin) : Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 57 / 69

Principe heuristique de ChaitinDeﬁnition 6.2(principe heuristique de Chaitin [Chaitin 2]) Si T est une théorieaxiomatique, on ne peut déduire de T que des théorèmes t tels queses valeurs de complexité algorithmique K (t) ≤ K (T ) + c.On ne peut pas donc connaître ces suites aléatoires comme on nepeut pas résoudre le problème de l’arrêt [Turing] des machines deTuring, comme on ne peut pas non plus décider [Gödel] si unthéorème appartient, en général, à une théorie quelconque.S’interroger sur les chiﬀres d’une suite aléatoire est alors équivalent às’interroger sur l’arrêt d’une machine de Turing (dont le meilleurexemple et celle du nombre de Chaitin Ω). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 58 / 69

Le scepticisme sur la nature (in)déterministe du processus générateurHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 59 / 69

Le scepticisme sur la nature du processus générateur"Le caractère aléatoire d’un résultat ne garantit pas qu’il ait étégénéré par un processus aléatoire et, à l’inverse, le caractère aléatoired’un processus n’implique pas nécessairement qu’il produise unrésultat aléatoire". [Earman, 1986].En effet, les définitions de l’aléatoire par la théorie algorithmique del’information ne fournissent aucune information sur les propriétés duprocessus à l’origine, pouvant être intrinsèquement déterministe ouindéterministe.Le caractère algorithmiquement aléatoire d’une suite finie nedétermine pas le caractère déterministe ou indéterministe duprocessus qui l’engendre. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 60 / 69

Le scepticisme sur la nature du processus générateurNonobstant, la nature de la distribution des sorties, à partir de lafréquence dans laquelle les suites sont produites, fournit informationsur le processus à l’origine. Une distribution qui s’approche à ce qu’onattend par la mesure de Levin suggère que le processus générateurmène des calculs qui ressemblent à ceux qui pourraient être menés pardes programmes sur une machine universelle de Turing (formalismesur lequel la théorie de la complexité est fondée et déﬁnie).C’est la fréquence d’apparition de s, et donc la probabilité m(s), quidétermine si l’origine des suites est générée par un programme decalcul à l’origine de la même façon que trouver une distributiongaussienne suggérait fortement que le processus d’origine a été lerésultat d’un processus aléatoire au sens classique. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 61 / 69

Le scepticisme sur la nature du processus générateurÉtant donné que la théorie moderne du calcul ne fait aucunedistinction entre le programme et les données d’entrée du programme,on peut penser aux données fixées d’entrée d’un programme commefaisant partie du programme même, dont la mesure de Levin vaprédire la même probabilité algorithmique sans s’occuper des entrées.Leonid Levin [Levin 2] a démontré qu’il suffit de trouver une fonction"one-way" pour construire un générateur de nombres aléatoiresdéterministes aussi bon que n’importe quel autre générateur (voirmême non-déterministe).Comme on l’a expliqué auparavant (section de la semi-mesure m), laprobabilité algorithmique n’a pas besoin nécessairement d’une sourcealéatoire car la plupart des énumérations effectives (et évidementdéterministes) produira les mêmes résultats. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 62 / 69

Le scepticisme sur la nature du processus générateurDans une étude statistique sur les sorties des générateursdes nombres aléatoires on a trouvé [Calude, Dinneen, Zenil]que les tests statistiques les plus connus (une centaine)appliqués à des suites (pseudo) aléatoires d’origines biendéterministes et (dit) non-déterministes (générateurs baséssur des processus quantiques) aucune diﬀérence ne pouvaitêtre repérée. En fait, ce sont 2 suites qui ont le mieuxréussi, une suite produite par le générateur des nombresaléatoires du logiciel Mathematica et la suite des décimalesdu nombre π Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 63 / 69

La contingence de l’aléatoire quantiqueHector Zenil (IHPST) L’approche algorithmique de l’aléatoire 64 / 69

La contingence de l’aléatoire quantique "Quantum mechanics is the origin of randomness" Charles Bennett [Bennett]Une croyance partagée aussi par Seth Lloyd [Lloyd].C’est l’inégalité de Bell et la nature non-locale de la mécaniquequantique qui suggèrent que cette dernière est capable de produire del’aléatoire d’une nature non-déterministe (car la violation du théorèmede Bell signiﬁe qu’il est impossible de construire une théorie localedéterministe à variables cachées rendant compte des résultatsexpérimentaux et donc que les mesures au niveau quantique sontréellement probabilistes et les états intrinsèques correctement décritspar la mécanique quantique). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 65 / 69

La contingence de l’aléatoire quantiqueIl faut aborder ces questions car le sujet reste comme unproblème ouvert (la violation du théorème de Bell ad’autres solutions possibles, mais également ou encore plusdiﬃciles à accepter car elles contredissent par exemple lathéorie de la relativité).C’est une question ouverte parce qu’il faut supposer que lathéorie quantique est correcte et qu’eﬀectivement cespropriétés étranges sont présentes pour arriver à laconclusion de la nature non-deterministe de l’aléatoirequantique. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 66 / 69

La contingence de l’aléatoire quantiqueD’un autre coté, il reste à savoir si on peut extraire de la valeuradditionnelle de l’accès aux suites aléatoires non-déterministes. Sic’est le cas, car une machine universelle de Turing est incapable deproduire de l’aléatoire non-déterministe, les générateurs des nombresaléatoires quantiques sont les appareils les plus proches de ce qu’onappelle un oracle dans la théorie de la calculabilité [Calude, Casti],mais il se pourrait que même l’accès à un tel pouvoir reste limité parce qu’on peut interpréter ou manipuler (ce qui semble toujours êtred’une nature ﬁnie et limitée).La valeur pour la cryptographie cependant semble évidente, mais il sepourrait, comme plusieurs auteurs le soupçonnent, qu’aucun vraiavantage n’existe en pratique face aux bons générateurs de nombresaléatoires déterministes. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 67 / 69

Conclusions 1 La définition de l’aléatoire algorithmique pour des suites finies ne distingue pas les suites aléatoires de celles qui ne le sont pas, mais elle distingue ce qui ne semble pas aléatoire de ce qui le semble par rapport à la taille de la suite originale. Pour la définition de l’aléatoire pour des suites finies, la taille de la suite joue un rôle important, tandis que pour la définition infinie la taille est évidement négligeable. La définition de l’aléatoire pour des suites infinies est ontologiquement robuste mais épistemologiquement faible. La définition de l’aléatoire pour des suites finies est épistemologiquement plus forte, mais relative et subjective. Bien que la définition de l’aléatoire pour des suites infinies est épistémologiquement faible, elle est méta - épistémologiquement riche. Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 68 / 69

Conclusions 2 Il semble y avoir une distribution qui donne de la stabilité à la définition de la complexité algorithmique et donc la rend indépendante du langage. Il semble possible alors de se débarrasser du problème du choix du langage et donc des choix arbitraires pour définir et mesurer la complexité algorithmique. La théorie de la complexité algorithmique n’adopte aucune présomption à l’égard de la nature déterministe ou indéterminisme du processus générateur. Cependant la distribution obtenue des événements détermine, avec probabilité m(s), si à l’origine des données se trouve un processus de calcul. Finalement, les approches algorithmiques capturent bien le phénomène en correspondance avec les notions intuitives, y compris la nature difficile de calculer et d’exhiber ce qu’est l’aléatoire. La vraie nature de l’aléatoire quantique et sa caractérisation algorithmique est une question qui reste ouverte (même si on fait du progrès [Calude2]). Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 69 / 69

J.P. Delahaye, H. Zenil, On the Kolmogorov-Chaitin complexity for shortsequences, in C. Calude (ed.) Complexity and Randomness : From Leibniz toChaitin, World Scientific, 2007.J.P. Delahaye, N. Gauvrit, H. Zenil, Towards a stable definition ofKolmogorov-Chaitin complexity, to be submitted.H. Zenil, How does Nature compute (Series in Computer Science.) in G.Dodig-Crnkovic and M. Burgin (eds.) Information and Computation, WorldScientific ; to appear, 2010.H. Zenil (ed.), Computation and Randomness : 5 questions, AutomaticPress, to appear, 2009.C.H. Bennett, Logical depth and physical complexity, The Universal TuringMachine : A Half-Century Survey, Springer, 2nd. edition, 1995.E. Borel, Traité du calcul des probabilités et de ses applications,Gauthier-Villars, 1952.C.S. Calude, Information and Randomness : An Algorithmic Perspective(Texts in Theoretical Computer Science. An EATCS Series), Springer, 2nd.edition, 2002.Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 69 / 69

C. S. Calude, K. Svozil, Quantum randomness and value indeﬁniteness,Advanced Science Letters, accepted.R.G. Downey, D. Hirschfeldt, Algorithmic Randomness and Complexity,Springer Verlag, to appear.G. J. Chaitin, A theory of program size formally identical to informationtheory, Association for Computing Machinery Journal, vol. 22, pp. 329–340,1975.G. J. Chaitin, Meta Math ! : The Quest for Omega, Vintage, 2006.J.P. Dubucs, Unfolding cognitives capacities, in M. Okada and Alli (eds.),Reasoning and Cognition, Keio University Press. 2006, p. 95-101.J. Earman, A Primer on Determinism, Dordrecht : Reidel, 1986.M. Li and P. Vitányi, An Introduction to Kolmogorov-Chaitin Complexity andIts Applications, Springer, 1997.A.N. Kolmogorov, Three approaches to the quantitative deﬁnition ofinformation,, Problems in Information Transmission, 1965.Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 69 / 69

G. Kreisel, Church’s Thesis and the ideal of informal rigour, Notre Dame J.of Formal Logic, 28, 499-519, 1987.A.K. Zvonkin, L. A. Levin. The Complexity of finite objects and theAlgorithmic Concepts of Information and Randomness, UMN = RussianMath. Surveys, 25(6) :83-124, 1970.J. Hastad, R. Impagliazzo, L.A. Levin and M.Luby A pseudorandomgenerator from any one-way function, SIAM Journal on Computing, 1999.S. Lloyd, Programming the Universe : A Quantum Computer Scientist Takeson the Cosmos, Vintage, 2007.W. Mayerstein, L. Brisson, Puissance et limites de la raison, Belles Lettres ,1995.W. Mayerstein, L. Brisson, Inventer l’univers. Le Problème de la connaissanceet les modèles cosmologiques, Belles Lettres , 1991.C-P Schnorr, Process complexity and effective random tests, 1973.R.J. Solomonoff, emphA Formal Theory of Inductive Inference, I and II,Information and Control, 7 pp 122, 1964.Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 69 / 69

H, Redﬁeld, The Theory of Group-Reduced Distributions, American Journalof Mathematics, Vol. 49, No. 3 (Jul., 1927), pp. 433-455, 1997.S. Wolfram, A New Kind of Science, Wolfram Media, Champaign, IL., 2002.W. H. Zurek, Complexity, entropy, and the physics of information : Amanifesto, Complexity 1, 64 (1995)W. H. Zurek, Thermodynamic cost of computation, algorithmic complexity,and the information metric, Nature 341, 119-124, 1989.W. H. Zurek, (ed.), Complexity, Entropy, and Physics of Information,Addison-Wesley, 1990.Hector Zenil (IHPST) L’approche algorithmique de l’aléatoire 69 / 69

http://www.mathrix.org	108
http://almorel.org	42
http://hectorzenil.com	1

L’approche algorithmique de l’aléatoire

by Hector Zenil on Jul 03, 2011

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 151

Statistics

L’approche algorithmique de l’aléatoire Presentation Transcript