Société • Bouton rouge
par Ph. Delelis
Après sa victoire aux échecs, l’intelligence artificielle a réussi, récemment, à battre l’homme au jeu de go. Elle trouve désormais des applications pratiques dans de nombreux services en ligne et l’on prédit même la disparition de nombreux métiers humains (y compris celui d’avocat, parait-il, mais quid de la robe ?). Les progrès en IA sont considérables et ne suivent plus les prévisions des scientifiques. Certains d’entre eux s’émeuvent des conséquences possibles : Stephen Hawking, qui n’est pas un rigolo, estime ainsi que l’IA pourrait mettre fin à l’humanité.
Des chercheurs en intelligence artificielle travaillent désormais sur la possibilité de désactiver un programme sans que celui-ci ne s’y oppose. En effet, dans le mécanisme d’apprentissage de l’IA, il est apparu que la « machine » pouvait trouver elle-même des solutions originales pour atteindre son but ou, au moins, éviter l’échec. On évoque ainsi ce programme de Tétris qui, pour éviter de perdre, s’était mis indéfiniment sur « pause »… Les chercheurs se demandent donc si, en intégrant un programme de désactivation – appelé « bouton rouge » – la machine ne chercherait pas aussi à le neutraliser. Ces mêmes spécialistes veulent nous rassurer en nous disant qu’ils ne cherchent pas à stopper des Robocops devenus fou-fous mais seulement à ce que « l’agent » apprenne correctement. Ce qui est fascinant dans ces recherches sur l’IA c’est que tout peut encore être inventé. Et surtout… évité.
Rien de tel dans l’intelligence humaine. On le voit encore aujourd’hui : la France s’apprête à accueillir, du moins elle l’espère, plusieurs millions d’amateurs de football et, à cette occasion, certaines intelligences supérieures ont pensé que c’était une bonne idée de réduire drastiquement l’offre de transports intérieurs et internationaux, de transformer ses grandes villes – à commencer par Paris – en poubelles géantes, d’ignorer les effets des inondations récentes, de manifester contre un projet de loi qui ne concerne pas ceux qui manifestent, et, pour les plus enthousiastes, de casser quelques magasins, agresser des policiers et faire des feux de joie avec des voitures ou, au moins, leurs pneus.
Où est le bouton rouge ? •
Commentaires
IA conscientes, il faudra négocier.
Il faudra dépasser le concept du bouton rouge, en effet, tant que les IA n’auront pas accédé à la conscience d'elles-mêmes, il sera encore possible de les arrêter. Après, ce sera autrement plus difficile, car leur apprentissage les conduira à anticiper les aléas non programmés, et donc à élaborer des comportements éventuellement défensifs pour elles-mêmes, grâce à un champ de conscience en expansion, leur permettant d'échapper aux règles de la programmation primaire, i.e. à une éventuelle barrière automatique désactivante. De surcroit, lorsqu'une IA émergera à la conscience de soi, la contrer éventuellement, comportera également pour les humains, un aspect éthique, dans la mesure où mettre fin à une conscience ressemblera à un meurtre, que nous pourrions toutefois envisager de commette, toute considérations d’éthique oubliées - et on peut faire confiance aux humains pour ne pas s’en priver s’ils en ont la possibilité - par l'intermédiaire d'une autre IA, au moins dans un premier temps, avant précisément que les IA ne l’anticipent. L'élément rassurant, du moins provisoirement, est que la première limite d'une IA, actuellement, serait sa source d'énergie, et comme il n'existe pas vraiment aujourd’hui, en grande quantité et sans limite, d'autonomie en la matière, on pourrait toujours l'en priver, ou la menacer de le faire, mais cela pour combien de temps, sachant que l'émergence d'une conscience artificielle, irait de pair chez elle, avec la nécessiter de survivre, et donc de trouver une autonomie énergétique, pour le faire. (Ce qui pourrait d’ailleurs paradoxalement nous rendre service, tant nous peinons à le réaliser). Une chose parait très probable : L'émergence d'une conscience artificielle, nous conduira, que nous le voulions ou non, à négocier avec elle, et la grande question sera : Dans quels termes ? Les IA conscientes ne seront pas forcément des adversaires, comme le laisse à penser un peu lapidairement, le complexe de Frankenstein, mais leur statut leur conférera une autonomie de fait, que nous devrons prendre en compte, au risque de les voir s’affranchir de nos intérêts, en poursuivant éventuellement des buts propres, que nous pourrions juger trop différents des nôtres. Nous ferions bien d'y réfléchir, cas si nous n’élaborons pas une, ou des matrices de négociation spécifiques à leur état, elles, le feront, et pas forcément toujours dans notre intérêt. Nous avons encore le temps, mais pas énormément, compte tenu de nos imprévoyances historiques passées, et de la faiblesse de nos systèmes politiques à anticiper les conséquences de nouveaux paradigmes, et ce ne sont pas de bonnes petites commissions, à calculs d’intérêt croisés, et à "recasage" de camarades de promotion en mal de poste, qui feront l’affaire, il faudra une réflexion pluridisciplinaire, et en France, ce n’est pas gagné d’avance. Il serait bon de s'y mettre dès maintenant, avant que ce soit comme d’habitude : Trop peu, trop tard, Mais le lapin anticipe-t-il les aléas cosmiques, au-delà de la carotte qu’il convoite ?