13 Avril 2023

Publié par Jean-Pierre FORESTIER

ChatGPT. Chaos. Hallucinations. Fantasmes

… ou du marketing ?

Les lecteurs peu familiarisés avec « l’intelligence » artificielle et ChatGPT peuvent commencer par les § de l’article Compléments sur le « mot suivant » et pondération.

Les Hallucinations produites par ChatGPT sont-elles la conséquence mathématique de bifurcations des algorithmes itératifs vers des chaos,
ou des fantasmes,
ou du marketing ?

ChatGPT alimente les conversations et des articles de la presse (des articles écrits avec l’aide de ChatGPT ?).

Un mot, que nous pensions n’appartenir qu’à la spiritualité et non pas à des machines, revient souvent : « hallucination ».

(« Hallucination » présente l’avantage d’être commun au français et à anglais (à quelques nuances près) ! et d’être utilisé par Elon Musk lui-même).

Hallucination !

Marine Protais, …
… dans l’excellente revue Internet : ADN.
… sous le double titre Calmos avec ChatGPT, il n'est pas si intelligent que ça ! et ChatGPT. Sommes nous en pleine hallucination collective ?
... précise :

« … cette intelligence artificielle capable de produire du texte … reste stupide. »

« on se rend rapidement compte que le robot a tendance à être incohérent (il dit une chose, puis son contraire), se tromper, voire raconter n’importe quoi. »

À titre de comparaison, c’est comme si nous demandions à notre ordinateur d’effectuer l’opération
2 + 5
… et qu’au lieu du 7 attendu, il réponde 25 !
Or comme un ordinateur est une machine à calculer ne sachant faire, en réalité, que des additions (ici : 1+1 + 1+1+1+1+1), la réponse « 25 » nous apparaît comme une « hallucination ».

La technologie de ChatGPT utilise l’« Intelligence » artificielle et "l'apprentissage profond", or, dès le 25 août 2018, dans mon article : IA.07 : le chaos ?
… … actualisé le 2 avril 2022 après que le prestigieux prix Abel ait été décerné au mathématicien Dennis Sullivan, pour ses travaux sur les bifurcations.

… j’envisage que « l’inexplicable » (« Fascinant et mystérieux »), devenu aujourd’hui des « hallucinations », soient « simplement » issues de chaos mathématiques provoqués par des bifurcations des systèmes itératifs utilisés par l’apprentissage (de plus en plus) profond utilisé par « l’intelligence » artificielle.

Itératif :
GRAMMaire. Qui permet l'expression d'une répétition de l'action.
INFORMATIQUE. [En parlant d'un processus de calcul, d'une structure de programme] Qui est répété un nombre fini de fois, jusqu'à ce qu'une condition particulière soit remplie.

Itérations, bifurcations et chaos

« Les "larges" modèles de langage naturel comme ChatGPT … génèrent ce texte en prédisant le mot suivant. » rappelle Marine Protais

Pour prédire le mot suivant, ne faut-il pas utiliser le mot précédant ? c'est à dire procéder à une itération ?

Or, depuis les travaux d'Henri Poincaré, nous savons que certaines itérations génèrent un chaos mathématique.

Si la suite (mathématique) prend la forme
x_n_+ 1 = μ x_n (1 – x_n)
… et que le coefficient μ se rapproche de 3,57, le comportement devient chaotique.

Selon le commentaire de Claude Allègre dans son Dictionnaire amoureux de la Science :Ce résultat est extraordinaire, une formule mathématique simple conduit à des nombres qui se succèdent de manière aléatoire alors que le calcul est lui-même totalement déterminé ! »

Dennis Sullivan a élargi "l'extraordinaire" en ajoutant « que le chaos est possible à chaque bifurcation sous la forme d'un attracteur qui peut prendre plusieurs valeurs. Le chaos se traduit alors par un très grand nombre de bifurcations." (voir figure)

Les ordinateurs de plus en plus puissants repoussent de plus en plus loin le « nombre fini de fois » des itérations. Cette puissance de calcul augmente-t-elle d’autant le risque de bifurcations ?

Selon les conjectures exposées ci-dessus, les « hallucinations » ne sont pas surnaturelles mais la conséquence mathématiques de chaos …

… comme les vagues déferlantes sont l’aboutissement chaotiques des ondulations formées à l’approche de la côte.

Fantasmes

De l’extraordinaire de Claude Allègre à l’hallucination d’aujourd’hui, il n’y a qu’un petit pas aussi agréable « à l’esprit des humains néoténiques que les contes de fées le sont aux enfants ? »

Dans l’émission de France-Culture : L'intelligence artificielle, la folle rationalité qui nous guette ...

... un des philosophes nous fait remarquer que : « Cette idée d’une intelligence artificielle ... est un fantasme très ancien, on trouve dès les années cinquante une multitude de nouvelles qui racontent ... cette histoire que nous nous racontons déjà, les ordinateurs de toute la planète qui se réunissent et ... forment une super intelligence qui met le chaos partout ; c’est la même histoire qu’on se raconte. » ... avec "l'intelligence artificielle !

Marcel Proust dans Mademoiselle de Forcheville avait-il déjà eu l’intuition des algorithmes de l’IA et de ses hallucinations qui en résultent ?

« Mais ces fragments [de sentiments par lesquels j’avais passé avant d’arriver à mon grand amour], ces moments du passé ne sont pas immobiles, ils ont gardé la force terrible, l’ignorance heureuse de l’espérance qui s’élançait alors vers un temps devenu aujourd’hui le passé, mais qu’une hallucination nous fait un instant prendre rétrospectivement pour l’avenir. »

Citation sélectionnée après une recherche du mot « hallucination » sur mon ordinateur par le logiciel Copernic Desktop Search.

Ne devrions-nous faire toujours faire confiance aux poètes :

Je dis qu’il faut être voyant, se faire voyant.

Le Poète se fait voyant par un long, immense et raisonné dérèglement de tous les sens.

Arthur Rimbaud

Les chatbots sont-ils les nouveaux poètes ?

Papillon météorologique

La prévision météorologique, popularisé par le célèbre « effet papillon » d’Edward Lorenz, donne un bon exemple de l’apparition de chaos créés par des calculs itératifs.

En 1961, au MIT (Massachusets Institute of Technology), un météorologue, Edward Lorenz, utilisa un système simplifié à trois équations. Il changea les valeurs qu'il donnait aux divers paramètres pour obtenir par tâtonnements des valeurs donnant … des résultats conformes aux observations. Puis brusquement, les résultats furent « totalement bouleversés ». D’après ses calculs, un ouragan c’était formé, alors que dans le monde « réel » le temps était parfaitement calme !

Transposons « l’effet papillon » à ChatGPT, ou plus généralement à l’IA.

Lorenz modifiait les paramètres par tâtonnement, n’est-ce pas ce que font « automatiquement » les algorithmes des différentes « couches » de l’apprentissage profond ?

Si un « mot suivant » issu d’un chaos est considéré comme normal, il est repris par l’algorithme situé en aval (ou une autre « couche »). Soumis à des calculs statistiques, ce « mot suivant » chaotique peut modifier à la fois la position de la valeur moyenne ainsi que l’apprentissage et fournir un résultat « extraordinaire », « hallucinant ».

Marketing ?

ChatGPT serait-il une nouvelle version du marketing destinée à promouvoir l’IA, c'est à dire destinée à des « levées de fonds » ?

Voir aussi Suite et fin-ance... Fantasmes et médias

Quand Sam Altman, fondateur d’Open AI, déclare : « Nous allons travailler dur pour nous améliorer ! », n’est-ce pas un appel indirect pour récolter des dollars ?

Et ça fonctionne très bien !

Les Échos du 18 avril annoncent

Les fonds injectent des milliards à la recherche du prochain ChatGPT

Les fonds en capital-risque n'ont jamais autant investi dans le segment de l'IA générative. Au premier trimestre 2023, plus d'1,6 milliard de dollars ont été levés dans le secteur.

Voir aussi

... avec la risque, accentué, d’une bulle financière, en remontant d’une couche les pyramides de Ponzi, voir :

IA.11 : Des systèmes de Ponzi camouflés

Un vent de panique … prévisible … venu de Californie

Vers

Historique des Hallucinations, dans l'IA

L’utilisation du terme « hallucination » appliquée à « l’intelligence » artificielle, dont ChatGPT, est très récente : 2021.

La définition qui s’applique le mieux semble celle du dictionnaire américain : « l'objet visualisée lors d’un état hallucinatoire »

Selon l’Enquête sur les hallucinations dans la génération du langage naturel parue en mars 2023, aucun des informaticiens ne remet en cause l’existence d’hallucinations, leur seul objectif est d’en minimiser les effets.

Vers Compléments de « ChatGPT. Chaos. Hallucinations »

« mot suivant »

Pondérations

Du papillon au perroquet

Rêves