Alan Turing avait déjà découvert la faille qui empêchera une IA de ...

Le concept de superintelligence fait couler beaucoup d'encre. Parmi les mythes modernes, celui de la singularité technologique tient une place particulière. C'est une idée qui date des débuts de l'informatique, popularisé par Vernor Vinge dans les années 90, puis Ray Kurzweil en 2005. Selon eux, l'accélération des progrès technologiques va bientôt accoucher d'une IA capable de s'auto-améliorer et celle-ci deviendra si intelligente qu'il sera impossible de comprendre ou prédire ce qui se passera ensuite. D'où le terme de singularité, qui fait référence au trou noir et à son horizon des événements.

Personnellement, je considère la singularité technologique comme une expérience de pensée intéressante, mais impossible en pratique. Les raisons sont nombreuses, en particulier si l'on réalise qu'une telle intelligence nécessiterait des ressources quasi infinies. Les transhumanistes répondent généralement à ce type d'argument en expliquant que, pour une telle IA, ce ne serait pas un problème : elle résoudrait cela en créant une source d'énergie inépuisable. Bref, ils bottent en touche.

Toutefois, il existe aussi des limites théoriques à ce qu’une machine informatique puisse faire.

La première limite est « the halting problem », ou le problème de l'arrêt en français. Nous avons tous observé avec agacement, puis résignation, la barre de progression qui semble hésitante et parfois interminable de certaines tâches que l'on exécute sur notre ordinateur favori. Il est puissant et pourtant il est incapable de déterminer avec précision la durée d'une simple copie de fichiers ou d'une mise à jour. Le pire est que quelle que soit la puissance de l'ordinateur, avec ou sans IA, le résultat serait le même.

En effet, il n'existe aucun algorithme ou aucune méthode générale permettant de prédire si un programme arbitraire avec des données, va s'arrêter, continuer pendant un certain temps, ou bien boucler indéfiniment. Alan Turing (1912-1954) l'a démontré en 1937 : le problème de l'arrêt est indécidable.

Quelle en est la conséquence pour l’IA ?

Et bien, une AGI aussi intelligente soit-elle reste un programme, et la résolution de problèmes, une forme de calcul sur des données, autrement dit un programme. Par conséquent, il ne peut exister d'IA générale capable de prédire si un problème arbitraire est solvable et le temps qu'il faudra pour le faire. Dans les faits, il ne peut exister une IA capable de résoudre tous les problèmes. Certains sont en effet tout à fait solvables, mais il existe également un grand nombre de problèmes qui n'ont pas de solution. C'est un coup dur pour la singularité, mais ce n'est pas la seule limite. Imaginons un instant que notre AGI soit capable de trouver des solutions à tout un tas de problèmes difficiles que nous ne sommes pas capables de résoudre. Comment être certains que les solutions trouvées seront correctes à chaque fois ? Est-ce que l'IA peut tester ses propres solutions ? Faut-il une seconde IA pour le faire ?

En 1951, le mathématicien Henry Gordon Rice a généralisé l'indécidabilité
du problème de l'arrêt en démontrant que toutes les propriétés sémantiques
non-triviales des programmes sont indécidables. Qu'est-ce que cela
signifie ?

Aucun algorithme général ne peut vérifier si un programme arbitraire est correct ou s’il s’exécute sans erreur.

Le théorème de Rice a, entre autres choses, un impact direct sur les problèmes d'alignement des IA, car par définition, ce sont des propriétés sémantiques non-triviales : sont-elles sûres, honnêtes, équitables, dignes de confiance, etc. Autrement-dit, il n'existe aucun algorithme général capable de déterminer si une IA respectera ces objectifs pour tous les problèmes.

Toutefois, cela ne signifie pas que cela soit impossible pour une tâche spécifique : il peut exister une solution pour une propriété et un problème déterminé.

Ces limitations ont des conséquences heureuses : pas de singularité omnisciente et on est pas près de se passer de l'humain.