La conscience est un atavisme - ForkLog : cryptomonnaies, IA, singularité, avenir

# La conscience — unatavisme

Ce que nous enseigne le roman de Peter Watts « La cécité illusoire »

Dans le roman « La cécité illusoire », le biologiste et écrivain canadien Peter Watts a proposé une hypothèse radicale : l’esprit peut être efficace sans conscience. Près de 20 ans après la publication du livre, cette thèse décrit précisément l’IA générative.

Nous analysons pourquoi « intelligent » ne signifie pas « compréhensif » et quelles erreurs nous commettons en humanisant les algorithmes.

Roman de 2006, commentaire sur 2020

« La cécité illusoire » est sorti en octobre 2006. Le roman a été nominé pour le prix Hugo en 2007 et a été finaliste pour les prix John Campbell et Locus.

Son auteur est un biologiste marin de l’Université de Colombie-Britannique, titulaire d’un doctorat en zoologie et écologie des ressources. Dans le roman, il cite plus de 130 références à des travaux scientifiques, intégrés dans une intrigue de science-fiction sur le premier contact. Dans les années 2000, le livre restait de niche, relevant de la science-fiction « dure » avec un style lourd et une vision sombre de la nature humaine. Les critiques soulignaient une prose impénétrable et une froideur émotionnelle du récit.

L’idée du roman repose sur la séparation de deux concepts souvent confondus : l’intelligence comme capacité à résoudre des problèmes, traiter l’information, et la conscience comme compréhension subjective, sensation de « ce que c’est que d’être » quelque chose, comme l’a formulé le philosophe Thomas Nagel.

Watts avance une hypothèse provocante : la conscience est une propriété évolutivement superflue, un sous-produit, et non une condition nécessaire à l’intelligence.

Le roman explore cette intuition à travers plusieurs lignes narratives. Les cryptovores — des êtres extraterrestres à bord du vaisseau « Rorschach » — possèdent une intelligence plusieurs ordres de grandeur supérieure à celle de l’humain. Ils analysent l’activité neuronale de l’équipage et résolvent des tâches complexes. Mais ils n’ont pas d’expérience subjective. Ils ne savent pas qu’ils existent. Comme le formule Watts par la bouche de l’un des personnages :

« Imagine que tu es un cryptovore. Imagine que tu as un esprit, mais pas de raison, des tâches, mais pas de conscience. Tes nerfs vibrent d’algorithmes de survie et d’autoprotection, flexibles, auto-dirigés, même technologiques, — mais il n’y a pas de système qui veille sur eux. Tu peux penser à n’importe quoi, mais tu ne ressens rien ».

Le protagoniste et narrateur Siri Kiton — un homme ayant subi une hémisphérectomie dans son enfance pour traiter une épilepsie — peut modéliser précisément le comportement des autres, mais il manque d’empathie et d’expérience émotionnelle authentique. Son rôle est celui d’un synthétiseur, traducteur de données complexes pour le centre de contrôle : il transforme l’information sans y attacher de sentiment. Kiton lui-même reconnaît :

« Ce n’est pas mon travail de comprendre. Au début, si je pouvais les comprendre, ce ne serait pas une grande réussite. Je suis simplement, comment dire — un guide ».

La troisième ligne — celle de la vampire Yukka Sarasti, ressuscitée génétiquement, prédateur du pléistocène avec une intelligence surpassant celle de l’humain — peut voir simultanément les deux côtés du cube de Nécker — manipuler plusieurs modèles cognitifs en parallèle.

L’excès de conscience

Chacun de ces personnages repose sur une base philosophique réelle. Le concept de zombies philosophiques, introduit par Robert Kirk en 1974 et popularisé par David Chalmers dans « La conscience » (1996), décrit une créature hypothétique, physiquement identique à l’humain, mais dépourvue d’expérience subjective. Les cryptovores sont une radicalisation de cette idée : non pas une copie de l’humain sans conscience, mais une forme d’intelligence fondamentalement différente.

Chalmers, en 1995, a formulé le « problème difficile de la conscience » : pourquoi les processus physiques du cerveau donnent-ils lieu à une expérience subjective ? Même si nous expliquons entièrement toutes les fonctions cognitives — attention, catégorisation, traitement de l’information — il reste la question : pourquoi leur exécution s’accompagne-t-elle d’une sensation ? « La cécité illusoire » reprend ce problème et le renverse : et si la réponse était « aucune sensation n’est nécessaire » ?

Watts décrit l’origine de cette idée ainsi : il cherchait longtemps une explication fonctionnelle de la conscience et appliquait le même test à chaque fonction possible — la capacité du système inconscient à faire la même chose. La réponse était toujours « oui ». Il a alors compris que la conclusion la plus puissante était l’absence totale de fonction. Dans la postface du roman, Watts résume : la conscience en conditions ordinaires est peu occupée, sauf à « recevoir des notes de service d’un subconscient beaucoup plus intelligent, la valider et lui attribuer tout le mérite ».

Bien avant Watts, l’idée de la conscience comme « surdose » évolutive a été formulée par le philosophe norvégien Peter Wessel Zapffe. Dans son essai « Le dernier messie » (1933), il compare l’esprit humain à celui de « certains cerfs en période paléontologique » qui ont disparu à cause de « cornes excessivement lourdes ». Zapffe considérait la conscience comme un excès évolutif : une capacité qui s’est développée au-delà du besoin pratique, transformée d’un avantage en un fardeau.

Mais si Watts prouve que la conscience n’est pas nécessaire à l’intelligence, le penseur norvégien va plus loin : elle n’est pas seulement superflue, mais destructrice. Selon lui, l’humain doit « limiter artificiellement le contenu de sa conscience » pour ne pas sombrer dans un état de « panique cosmique » face à sa propre finitude.

Le philosophe David Rosenthal a abouti à une conclusion similaire. Dans un article de 2008, il a montré que la conscience des états cognitifs n’ajoute pas de fonction significative au-delà des processus qui la produisent.

Eliza dans la chambre chinoise

En 1980, le philosophe John Searle a publié l’expérience de pensée devenue célèbre : « La chambre chinoise ». Son principe : une personne ne parlant pas chinois, reste dans une pièce fermée avec un ensemble de règles pour manipuler des caractères. En recevant des questions en chinois, elle compose des réponses selon ces règles. L’observateur extérieur est convaincu que quelqu’un à l’intérieur comprend le chinois. Mais la personne à l’intérieur ne comprend rien. La conclusion de Searle : la syntaxe n’est pas identique à la sémantique. La bonne manipulation des symboles ne signifie pas leur compréhension.

Cet expérience est directement intégrée dans l’intrigue de « La cécité illusoire ». Lorsque l’équipage du « Thésée » établit un contact avec le « Rorschach », le vaisseau extraterrestre répond en anglais idiomatique. Au début, cela semble être une avancée — une communication avec une intelligence extraterrestre. Mais la linguiste Susan James réalise peu à peu : « Rorschach » a appris l’anglais en interceptant des transmissions radio humaines. Il rassemble et combine des modèles linguistiques. Il produit des réponses grammaticalement et contextuellement correctes. Mais il ne comprend pas ce qu’il dit.

Watts explique cette idée par l’explication de Kiton lui-même :

« L’essentiel, c’est qu’on peut communiquer en utilisant des algorithmes simples de correspondance et sans avoir la moindre idée de ce qu’on dit. Si tu utilises un ensemble de règles suffisamment détaillé, tu peux passer le test de Turing. Tu peux te faire passer pour un esprit vif et un bavard, même sans connaître la langue dans laquelle tu communiques ».

Si LLM — la chambre chinoise, pourquoi des millions de personnes se comportent-elles comme si l’interface était un être compréhensif ? La réponse réside dans les biais cognitifs, façonnés par l’évolution.

En 1966, le pionnier de l’intelligence artificielle Joseph Weizenbaum au MIT a créé ELIZA, un programme utilisant un simple pattern-matching pour imiter un psychothérapeute. Il reformulait les répliques de l’utilisateur en questions. L’effet a bouleversé le créateur lui-même : son assistante, qui observait le développement, lui a demandé de la laisser seule avec ELIZA après quelques minutes d’échange. Weizenbaum a écrit plus tard :

« Je ne pensais pas qu’une interaction aussi courte avec un programme aussi simple pourrait provoquer une pensée délirante chez des personnes tout à fait normales ».

Ce phénomène a été nommé « effet Eliza » — la tendance à attribuer aux systèmes informatiques une compréhension qu’ils n’ont pas. L’effet persiste même lorsque l’utilisateur sait qu’il s’agit d’un programme.

C’est un biais cognitif. Nous avons évolué pour reconnaître nos semblables, et le langage est l’un des marqueurs diagnostiques les plus puissants de l’appartenance à Homo sapiens. Watts décrit ce mécanisme dans le roman à travers le personnage de Robert Canningham, qui explique pourquoi un être inconscient sera indiscernable d’un être conscient :

« Un automate intellectuel se fondra dans le décor, observera son environnement, imitera leur comportement et se comportera comme un humain ordinaire. Et tout cela — sans en avoir conscience, sans même réaliser qu’il existe ».

Le professeur en robotique cognitive à l’University College de Londres et chercheur principal chez Google DeepMind, Murray Shanahan, met en garde :

« L’utilisation négligente de mots chargés philosophiquement comme “pense” et “crois” est particulièrement problématique, car ces mots obscurcissent le mécanisme et encouragent activement l’anthropomorphisme ».

Les cryptovores codent

En 2024, Watts a déclaré dans une interview au magazine Helice : « Il y a 20 ans, je prévoyais des choses qui se produisent aujourd’hui. Mais maintenant, je n’ai aucune idée de ce qui se passera dans les 20 prochaines années. »

Une des principales leçons du roman n’est pas la prévision des technologies. C’est un avertissement contre le piège cognitif : la conscience n’est pas nécessaire à l’efficacité. Les cryptovores résolvent des problèmes mieux que les humains, sans expérience subjective. Les LLM écrivent du code et traduisent des langues sans compréhension.

Nous anthropomorphisons non pas parce que l’IA nous trompe, mais parce que notre cerveau est programmé pour chercher du sens dans le langage. L’effet Eliza, décrit dès 1966, a été renforcé à plusieurs reprises par des systèmes entraînés sur des milliards de textes.

Le roman enseigne à distinguer ce que la système fait de ce qu’elle est. La capacité à ne pas confondre imitation et compréhension reste l’une des compétences les plus précieuses. Watts a formulé cette idée deux décennies avant que la question ne devienne pratique.

Texte : Sasha Kosovan