IA.07 : le chaos ?
IA : Des bifurcations aux chaos
/image%2F2354072%2F20220402%2Fob_6d0541_chaos-chahut-sullivan-mise-a-jour-act.jpg)
Le récent prix Abel décerné au mathématicien Dennis Sullivan actualise l'étonnement de certains devant les résultats du deep learning à caractère « inexplicable » ou « qui dépassent un peu les intuitions des programmeurs eux-mêmes » ?
Inexplicables ou "apparition" des chaos et bifurcations de systèmes itératifs ?
/image%2F2354072%2F20220404%2Fob_e000c1_chaos-diagramme.jpg)
Voir aussi Ce qui se cache derrière la théorie du chaos
Sachant que tout apprentissage s’appuie sur des connaissances précédentes, et qu’ainsi, tout apprentissage est itératif.
/image%2F2354072%2F20220402%2Fob_d46e23_chaos-chahut-2.jpg)
Si on ne surveille pas la valeur du paramètre µ, le système peu « tourner » en chaos, au chahut, ...
/image%2F2354072%2F20220402%2Fob_9c4b53_chaos-chahut-1.jpg)
... voire, bifurquer.
/image%2F2354072%2F20220403%2Fob_7f2a6d_conte-de-fees-3.jpg)
Ce « qui dépassent un peu les intuitions des programmeurs eux-mêmes ». L'’inexplicable n'est-il pas aussi « Fascinant et mystérieux », à l’esprit des humains néoténiques que les contes de fées le sont aux enfants ?
- Les algorithmes de l’Intelligence Artificielle relevant de l’apprentissage profond (deep learning) sont réputés inexplicables.
- Ce « mystère » pourrait avoir pour origine l’apparition de chaos mathématiques engendrés par les systèmes itératifs de l’apprentissage profond.
- Le passage continu entre le monde déterministe et le monde probabiliste est fascinant et mystérieux, mais guère rassurant !
- Avertissement à mes lecteurs et lectrices pour lesquels les « maths » provoquent un rejet épidermique : ne craignez rien, si une équation mathématique apparaît, c’est simplement pour montrer qu’elle existe ; laissez-vous simplement aller ; papillonnez de schémas en philosophies ; jusqu’à être précipité, tel Alice, dans le monde mystérieux et fascinant du chaos des vagues de Biarritz.
Vraiment ??
La constatation de Nozha Boujemaa est particulièrement troublante. Selon la directrice de l'Institut National de Recherche en Informatique et en Automatique (INRIA) de Saclay (France) tous les algorithmes de l’intelligence Artificielle sont explicables mais, par contre ceux « relevant du deep learning (apprentissage profond) ne le sont pas ».
Pourquoi certains, comme Paul Jorion, dans une émission de France-Culture, ont-ils l’impression que les machines prennent une certaine autonomie ? « Nous ne comprenons plus exactement ce qui se passe à l’intérieur des machines parce que nous avons créé des choses qui dépassent un peu les intuitions des programmeurs eux-mêmes, il y a des effets qu’on appelle « non linéaires » qui font qu’il y a une certaine "imprectabilité"… »
« Inexplicable » « imprectabilité » ou plus pudiquement « non prévisibles » renforcent évidemment la place de l’Intelligence Artificielle parmi les demi-dieux.
… et les fictions auxquelles les humains néoténiques aiment croire
Mais même s’ils sont censés créer de l’Intelligence, ces algorithmes ne sont pourtant que des mathématiques, donc éminemment déterminés, alors pourquoi sont-ils inexplicables, imprévisibles, « non linéaires » ou, pour parler comme les mathématiciens (ou Elon Musk !) atteignent-ils une « singularité » ?
Je ne connais évidemment pas quelle est la nature exacte des algorithmes qui régissent ce fameux deep learning mais dans le schéma ci-dessus, ces entraînements, ces transformations séquentielles, ces couches qui identifient progressivement des traits plus complexes de l'apprentissage « profond » m’obligent à penser à un système itératif.
GRAMMaire. Qui permet l'expression d'une répétition de l'action.
INFORMATIQUE. [En parlant d'un processus de calcul, d'une structure de programme] Qui est répété un nombre fini de fois, jusqu'à ce qu'une condition particulière soit remplie.
Et « Système itératif » réveille à son tour en moi la notion de chaos mathématique et me fait rouvrir le Dictionnaire amoureux de la Science de Claude Allègre à qui j’emprunte certains passages de mon article.
Je remarque avec plaisir à cette occasion que Claude Allègre a choisi pour sa couverture le même tableau de Dali que j’ai utilisé pour illustrer mon article sur l’Intelligence Biophysique
Dans un système itératif, la valeur X à t+1, par exemple le nombre de raies et de requins présents dans la mer Adriatique l'année suivante, dépend de la valeur de ce nombre au temps t (aujourd’hui).
Rien que de très banal pour un mathématicien, sauf que certaines de ces équations peuvent conduire au chaos !
L’une d’entre-elles, très simple, a été établie par Robert May
Le diagramme ci-dessous (repris également par Claude Allègre) est emprunté à Hideo Kozima du Département de Physique de l’Université de l’état de Portland.
« En ordonnée, c'est le paramètre « k » que l'on augmente depuis « 0 » jusqu'à de grandes valeurs. L'abscisse suit les valeurs obtenues successivement. On voit qu'au début on reste à zéro (Extinction), puis on obtient une seule valeur (Steady state), puis on oscille entre deux valeurs (Period two), puis quatre (Period four), puis le chaos.
Ce résultat est extraordinaire, une formule mathématique simple conduit à des nombres qui se succèdent de manière aléatoire alors que le calcul est lui-même totalement déterminé ! »
Si la théorie du chaos fut théorisée la première fois par Henri Poincaré, et validée par exemple sur des populations réelles de raies et de requins dans l'Adriatique, l’équation de Robert May n’est pas la seule qui puisse conduire à un chaos, nous ne les connaissons pas toutes, et elles peuvent surgir de manière inopinée dans une ou des équations, ou par l’interférence de plusieurs équations imbriquées.
En 2022, Dennis Sullivan a été récompensé par le prix Abel (une des deux plus prestigieuses récompenses en mathématiques avec la médaille Fields)
/image%2F2354072%2F20220402%2Fob_e3bcf4_chaos.jpg)
Ce mathématicien « virtuose » s’est intéressé aux systèmes dynamiques qui présentent des comportements chaotiques.
L’un d’eux décrit l’évolution d’une population animale d’une année sur l’autre (le nombre de raies et de requins ?). Cette suite est définie par
xn + 1 = μ xn (1 – xn).
Son comportement dépend de façon très sensible de la valeur du paramètre μ. …
Pour μ (ou k dans la formule du dessin ci-dessus) compris entre 1 et 3, la population se stabilise à une certaine valeur après une phase transitoire. … À partir d’une valeur de μ proche de 3,57, le comportement devient chaotique. Quand on trace ces valeurs de populations en fonction du paramètre μ, on observe des « bifurcations ».
Plus encore : la distance entre deux bifurcations successives converge vers une valeur fixe : la constante de Feigenbaum, dont Dennis Sullivan a démontré le caractère universel.
Sont-ce ces chaos et bifurcations « qui dépassent un peu les intuitions des programmeurs eux-mêmes » ?
En s’intéressant à l’évolution de « l’apprentissage profond » ne devrait-on pas observer des comportements chaotiques ? voire des « bifurcations » vers une « singularité » comme le prédit Elon Musk ?
/image%2F2354072%2F20230418%2Fob_a8b03c_chat-lorenz.jpg)
En 1961, au MIT (Massachusets Institute of Technology), un météorologue, Edward Lorenz, utilisa un système simplifié à trois équations. Il changea les valeurs qu'il donnait aux divers paramètres pour obtenir par tâtonnements des valeurs donnant … des résultats conformes aux observations. Tout alla bien, puis brusquement, les résultats furent « totalement bouleversés ». D’après ses calculs, un ouragan s'était formé, alors que dans le monde « réel » le temps était parfaitement calme !
Interrogé à la sortie d’un très sérieux congrès de météorologie, Lorenz lança en manière de plaisanterie: « Le vol d'un papillon aujourd'hui en Amazonie peut changer le temps qu'il fera dans six mois ! »
Saillie que les journalistes, plus enclins au sensationnel qu’aux mathématiques, prirent au premier degré, le célèbre « effet papillon » était né.
Edward Lorenz aurait pu ajouter la question : " Pourquoi ce papillon et pas un autre, parmi les milliers de papillons qui battent des ailes en Amazonie ? "
/image%2F2354072%2F20230418%2Fob_005179_chat-papillon-au-revioir.jpg)
(Si dans un système simplifié à trois équations le papillon pouvait dans un battement d'ailes provoquer un ouragan, il cessa ses facéties quand les mathématiciens et météorologues utilisèrent la mécanique statistique)
Plus sérieusement, « l’apparition de ce chaos montre qu’il y a un passage continu entre le monde déterministe et le monde probabiliste. Le hasard, ce fameux hasard dont on ne sait pas bien ce qu'il signifie et sur lequel les plus grands esprits depuis Pascal et Leibniz se sont penché, se cache dans ce passage, il faut bien le dire, fascinant et mystérieux. »
Fascinant et mystérieux comme une nouvelle merveille que découvrirait Alice.
Dévorée de curiosité, Alice traversa le champ en courant à la poursuite du papillon, et eut la chance d’arriver juste à temps pour le voir s’enfoncer comme une flèche dans un large terrier placé sous un algorithme. Un instant plus tard, elle y pénétrait à son tour, ...
Le terrier était d’abord creusé horizontalement comme un tunnel, puis après quelques oscillations il présentait une pente si brusque et si raide qu’Alice se sentit tomber dans un puits apparemment très profond. ...
... et à la suite d'aventures où elle rencontre un chat qui existe et qui n'existe pas, Alice fini pas se retrouver surfant sur une vague à Biarritz ....
/image%2F2354072%2F20240324%2Fob_7c978b_ia-07-alice-surf-chat.jpg)
Le passage de l’ondulatoire au chaos peut être représenté (très) schématiquement par une vague poussée par la houle (phénomène ondulatoire) qui devient ensuite déferlante (phénomène « chaotique ») , tellement chaotique qu'il permet à des gouttes d’eau de s’échapper haut dessus des vagues, et aux plus fines de ces gouttes de former les embruns.
Et si l’inexplicable des algorithmes d’apprentissage profond était « simplement » un passage du monde déterministe à un monde probabiliste ?
Un petit changement de la forme d’un œil dans l’identification progressive des traits plus complexes des programmes de reconnaissance de visage, pourrait-il bouleverser totalement le résultat final ?
Un chaos généré par des fonctions mathématiques itératives expliquerait « l’inexplicable » noté par Nozha Boujemaa.
« Fascinant et mystérieux », peut-être, mais guère rassurant !
Quelle confiance peut-on accorder à un système qui « tourne » brusquement au chaos ?
Quelle confiance apportée à un diagnostic du mélanome ?
Si ce chaos apparaît dans les algorithmes apprentissage profond, « l’inexplicable » ne serait donc pas une volonté délibérée des ingénieurs concepteurs des algorithmes mais un passage inopiné du monde déterministe au monde probabiliste, et au chaos.
Le facétieux papillon se cacherait-il dans les « couches cachées » ? à l’insu de leurs créateurs ?
Le mythe de Frankenstein deviendrait réalité !
Les mêmes ingénieurs ont-ils prévu un logiciel qui vérifie l’apparition d’oscillations suspectes qui pourraient être les prémices d’un chaos ?
Je présume qu’ils doivent se contenter d’éliminer les « valeurs aberrantes », celles qui se situent en dehors de la limite de confiance de 95% (parties roses), mais cette opération s’appelle de la manipulation de statistiques !
Certains bugs « inexpliqués » auraient-ils pour origine un algorithme itératif mal réglé ou mal contrôlé ?
Les pirates n’auraient-ils qu’à ajouter un petit changement aux données utilisées par l’Apprentissage profond pour bouleverser les résultats ?
Je ne sais pas si une Intelligence Biophysique basée sur système flou, plastique, redondant et statistique/comparateur (comme le cerveau humain) permettrait d’éviter ou non l’apparition d’un chaos, mais il me semble que, plastique, elle pourrait repérer facilement les signes avant-coureurs de la Period Two
De même l’Intelligence Biophysique pourrait repérer les blocs corrompus, et ce serait certainement sa première utilisation.
Les bits d’un ordinateur classique ou les qubits d’un ordinateur quantique ne peuvent exprimer qu'un langage.
Si un flou artistique de nos sentiments » est présent dans notre cerveau, il est rendu possible par la plasticité et la ferroélectricité les protéines de mémoires, leurs propriétés ferroélectriques les font entrer dans le monde quantique.
Si la connaissance d’un réseau, même neuronal, est importante, elle l’est moins que l’information que ce réseau transmet.
Si elle voit le jour, une « Digital memcomputing machine » se rapprochera de l’Intelligence Biophysique.
Un lecteur, que je remercie, m’a demandé si le futur ordinateur quantique permettra de mimer les protéines de la mémoire naturelle et de fabriquer des machines à Intelligence Biophysique.
Ma réponse me permet de revenir sur la place des protéines dans la mémoire.