Risques existentiels
Article détaillé : Risque existentiel lié à l'intelligence artificielle générale.
Un premier sommet en sûreté de l'IA s'est tenu en
novembre 2023 pour aborder les risques liés aux modèles d'IA les plus avancés[164]. Il a été
suivi du Sommet de Paris pour l'action sur l'IA (2025).
Le développement de l'intelligence artificielle génère de l'enthousiasme, mais aussi de vives
inquiétudes. Des auteurs de science-fiction, tels Isaac Asimov, William Gibson ou Arthur C.
Clarke, sur le modèle du récit de L'Apprenti sorcier, décrivent le risque d'une perte de
contrôle des humains sur le processus technique. Dans les années 2010 et 2020, différents
intellectuels ont également pris position, notamment l'astrophysicien Stephen Hawking, selon
qui l'intelligence artificielle risque réellement de surpasser un jour l'intelligence humaine et de
finir par dominer l'humanité, voire de s'y substituer[165],[166]. Il pose en novembre 2017 au salon
technologique Web Summit de Lisbonne la question suivante « Serons-nous aidés par
l'intelligence artificielle ou mis de côté, ou encore détruits par elle ? »[167].
Dans le milieu de la haute technologie, certains expriment publiquement des craintes
similaires. C'est ainsi le cas, en 2015, de Bill Gates, Elon Musk et Bill Joy[168]. Selon le
spécialiste américain de l'informatique Moshe Vardi en 2016, l'intelligence artificielle pourrait
mettre 50 % de l'humanité au chômage. « Nous approchons d'une époque où les machines
pourront surpasser les hommes dans presque toutes les tâches »[169].
Hilary Mason, directrice de la recherche à Cloudera, a critiqué en 2018 le sensationnalisme
entourant l'intelligence artificielle et prône une vision pragmatique et opérationnelle de cette
technologie[170].
Ajouter un mécanisme d'arrêt pourrait ne pas suffire face à une IA suffisamment avancée, qui
pourrait s'avérer en mesure de cacher des intentions dangereuses, de manipuler ses détenteurs,
de désactiver le mécanisme d'arrêt ou encore de se dupliquer. Selon Nick Bostrom en 2015, la
seule solution viable à long terme consiste à trouver comment aligner les intelligences
artificielles avec des valeurs humaines et morales[171] :
« nous ne devrions pas être confiants dans notre capacité à garder indéfiniment un génie
superintelligent enfermé dans une bouteille. Je crois que la réponse ici est de trouver comment
créer une IA superintelligente de sorte que si — ou plutôt quand — elle s'échappe, elle reste
sans danger, parce qu'elle est fondamentalement de notre côté, elle partage nos valeurs. »
— Nick Bostrom
Roman V. Yampolskiy, professeur de science informatique à l'Université de Louisville,
évoque pourquoi et comment une IA obtient un résultat, pour s'assurer qu'il corresponde bien
à l'attendu, sans biais : « si nous nous habituons à accepter les réponses de l'IA comme des
paroles d'oracles ne nécessitant pas d'explication, alors nous serons incapables de vérifier si
ces résultats ne sont pas biaisés ou manipulés »[172].
En mai 2023, une déclaration du Center for AI Safety (« Centre pour la sûreté de l'IA »)
affirme que réduire le risque d'extinction de l'humanité lié à l'IA devrait être une priorité
mondiale, au même titre que pour d'autres risques civilisationnels tels les pandémies ou les
guerres nucléaires. Elle est signée par des dirigeants de laboratoires d'IA comme OpenAI,
Google DeepMind ou Anthropic, ainsi que par des chercheurs en intelligence artificielle[173],
[174]
.
En 2026, dans le cadre du règlement européen sur l'intelligence artificielle, en vigueur depuis
août 2024 mais dont l'application sera progressive jusqu'en août 2027, la Commission
européenne doit publier des lignes directrices sur l'interprétation de l'article 6, qui porte sur la
classification des systèmes d’IA (SIA) à haut risque, leur développement et leur déploiement.
L'article 6 définit deux catégories d'IA « à haut risque »[175] : celles servant de composant de
sécurité d'un produit réglementé ou constituant eux-mêmes un tel produit (article 6(1)), et
celles présentant des risques notables pour la santé, la sécurité ou les droits fondamentaux
(article 6(2)).
Une consultation publique, ouverte jusqu'au 18 juillet 2025, vise à recueillir les contributions
des développeurs, fournisseurs, utilisateurs (publics et privés), chercheurs, représentants de la
société civile et citoyens européens. L'objectif en est de collecter des exemples concrets et de
mieux comprendre les besoins opérationnels des acteurs concernés[176],[177].
