La superintelligence

Un système hypothétique qui dépasserait significativement l'intelligence humaine combinée. Trois positions coexistent chez des chercheurs sérieux — nous les présentons sans en privilégier une.

Ce sujet attire à la fois un catastrophisme médiatique excessif et un déni tout aussi excessif. Nous présentons ici les positions défendues par des chercheurs reconnus, sans transformer l'incertitude en certitude dans un sens ou dans l'autre.

Trois positions qui coexistent

Le risque existentiel doit être pris au sérieux

Une partie de la communauté des chercheurs en sécurité de l'IA (dont des figures ayant travaillé chez OpenAI, DeepMind ou dans des instituts de recherche dédiés) considère qu'un système significativement plus capable que l'ensemble de l'humanité combinée pourrait devenir difficile, voire impossible, à contrôler une fois déployé — d'où l'importance accordée à la recherche en alignement (voir notre page dédiée) avant, plutôt qu'après, l'atteinte d'un tel seuil.

Le risque est réel mais surestimé à court terme

D'autres chercheurs, sans nier l'intérêt de la question, estiment que le secteur est encore très loin d'un tel scénario, et que l'attention médiatique portée aux risques existentiels détourne des enjeux plus immédiats et mieux établis : biais algorithmiques, désinformation, impact sur l'emploi, concentration du pouvoir économique (voir nos pages dédiées à ces sujets).

La notion elle-même est jugée trop spéculative

Une troisième position, également répandue chez des chercheurs reconnus, consiste à juger la discussion sur la superintelligence prématurée, faute même d'une AGI fonctionnelle (voir notre page dédiée) — extrapoler au-delà d'une étape non atteinte relèverait, selon cette lecture, davantage de la science-fiction que de l'analyse de risque sérieuse.

Le vocabulaire du débat

Alignement — faire en sorte qu'un système poursuive réellement les objectifs voulus par ses concepteurs (voir notre page dédiée). Contrôle — la capacité, pour des humains, de superviser, corriger ou arrêter un système en fonctionnement. Risque existentiel — un scénario, par définition extrême et non consensuel, où un système suffisamment capable échapperait à tout contrôle humain avec des conséquences irréversibles à grande échelle.

Comment répond-on à ce risque, concrètement ?

Les techniques de recherche actuelles pour garder un système sous contrôle.

L'alignement →