Les hallucinations d’IA comme productions signifiantes : vers une typologie visuelle

Voici un moment que je porte cette idée de projet en moi et aujourd’hui, je souhaite la partager ici afin de trouver des personnes compétentes et désireuses de le rendre concret. Si je peux me porter garante de la mise en place, de la scénographie, de la direction artistique, j’admets mes limites en toute humilité. Je ne suis ni plasticienne, ni ingénieur en IA, ni linguiste ou sémiologue. Si vous vous reconnaissez et si vous êtes partants pour mettre en place ce projet, contactez-moi !
Je joins ici un résumé de mon projet pour que vous puissiez y voir plus clair sur les enjeux artistiques et scientifiques. Bonne lecture et à bientôt, je l’espère.

---

Les hallucinations d’intelligence artificielle génératives (IAGen) sont généralement perçues comme des dysfonctionnements à corriger ou des erreurs à éliminer. Ce projet d’art et de recherche propose une rupture épistémologique radicale : et si ces hallucinations étaient non pas des bugs, mais des productions signifiantes à décrypter ? Au mot d’hallucination, je préfère l’emploi du mot grotesque en référence à l’art grotesque de la Renaissance. Car ce sont bien là des motifs bizarres qui surgissent, des éléments extravagants qui viennent plus ou moins perturber l’utilisateur de l’IAGen.

L’hypothèse : Tout comme les grotesques révélaient l’imaginaire, les obsessions et la grammaire esthétique de la Renaissance, les hallucinations d’IAGen révèlent l’architecture cognitive et culturelle des systèmes qui les produisent. Chaque modèle hallucine différemment. Cette différence n’est pas uniquement technique : elle est structurelle mais aussi culturelle. Les hallucinations exposent les lacunes (ce qui manque dans l’entraînement), les obsessions (ce qui est surreprésenté dans les corpus), les logiques internes (comment le modèle construit des relations entre concepts) et les valeurs implicites (ce qui est considéré comme “normal” ou “probable”). Le projet pourra s’étendre à l’étude comparative de plusieurs modèles open source, permettant ainsi d’analyser comment différentes architectures et corpus d’entraînement produisent des typologies de grotesques distinctes.

Le dispositif envisagé : Il articule recherche et création dans une installation immersive collective. Les visiteurs entrent dans un espace où les murs sont des écrans de projection. Chacun dialogue avec la même IA open source via une interface. Lorsque survient une hallucination, celle-ci est détectée en temps réel et est instantanément projetée sous forme de grotesque sur les murs. L’architecture technique repose sur une structure en couches : l’IAGen de base (de type conversationnelle), une surcouche de monitoring détectant les hallucinations (via accès aux métriques internes de confiance, détection de contradictions, patterns d’incohérence) et un système de génération/projection des grotesques. L’utilisation d’un modèle open source est indispensable pour permettre cet accès aux métriques internes et l’intégration de la surcouche de monitoring. La fresque collective qui émerge devient une archive visuelle des hallucinations de cette IAGen spécifique. Le dispositif peut s’adapter à différents contextes : expositions, galeries mais aussi performances live (VJing, concerts) où les grotesques apparaîtraient en temps réel pendant l’interaction. L’installation peut aussi se décliner en expérience individuelle. Auquel cas, le visiteur se trouvera face à un grand écran et interagira seul avec l’IAGen créant ainsi un visuel personnel. Il pourrait être proposé au visiteur de pouvoir repartir avec cette “oeuvre” originale soit en format numérique soit en impression.

La méthodologie de recherche : Elle vise à établir une typologie des hallucinations par leur expression graphique via les grotesques. Là où l’analyse technique passe par les logs et les probabilités, l’approche artistique crée une grammaire visuelle révélant des patterns que l’analyse textuelle seule ne peut appréhender. Il ne s’agit pas simplement de représenter artistiquement des erreurs, mais de construire un outil épistémologique alternatif pour comprendre ce que l’hallucination révèle du système. Pourquoi tel modèle “confabule”-t-il de telle manière ? Quels schémas récurrents émergent ? Que nous disent ces grotesques computationnels de la “culture” de l’IAGen ?

L’évolution temporelle du projet : Il s’articule en trois phases. D’abord une phase artisanale où des artistes créent une bibliothèque initiale de grotesques codifiée par types d’hallucinations (confabulation, anachronisme, fusion conceptuelle impossible, etc.) ; ensuite une phase archivistique où l’installation accumule interactions et visualisations, faisant émerger patterns et récurrences ; enfin une phase “autogénérative” où l’IAGen nourrie de cette banque de grotesques, apprend à générer elle-même les visualisations de ses propres hallucinations. L’hallucination devient alors élément autoréflexif : la machine visualise ses propres erreurs. Cette boucle récursive constitue le cœur de la proposition : comment l’art transforme notre compréhension des systèmes d’IAGen en créant de nouveaux instruments d’analyse ?

Ce projet nécessite une collaboration interdisciplinaire étroite. Je cherche à constituer une équipe réunissant ingénieurs en IA (détection temps réel, accès aux métriques de confiance, architecture technique), artistes visuels (grammaire des grotesques contemporains) et potentiellement linguiste/sémioticien (analyse des patterns de production de sens). Je ne vous cache pas que je suis chercheuse indépendante. Afin d’obtenir des fonds nécessaires pour porter cette recherche, nous pourrons trouver quelques ressources du côté de la DRAC. Mais si vous-mêmes vous êtes affiliés à un laboratoire de recherche ou d’art, d’autres aides seront alors disponibles.

Comment une démarche artistique peut-elle proposer un nouvel outil conceptuel et méthodologique pour la recherche en IA ? Il ne s’agit pas d’utiliser l’IA pour faire uniquement de l’art mais bien d’ utiliser l’art pour repenser l’IA. Le dispositif créé devient un instrument de recherche à part entière, permettant d’étudier les systèmes d’intelligence artificielle par leurs productions les plus révélatrices : leurs erreurs “grotesques”.

---

Le texte seul est utilisable sous licence Creative Commons Attribution Utilisation non commerciale Pas d’Œuvre dérivée 4.0 International. Les autres éléments (illustrations, fichiers annexes importés) sont “Tous droits réservés”, sauf mention contraire.

---

---