Intelligence artificielle et eugénisme | Dan McQuillan

Apr 14, 2023

Il existe une longue histoire d'enchevêtrement entre les logiques d'élimination et les mathématiques qui alimentent l'IA. Les méthodes mathématiques telles que la régression trouvent leur origine dans le concept de "régression vers la moyenne", développé par Francis Galton dans le cadre de ses efforts visant à élaborer une métrique du darwinisme social. Alors qu’Herbert Spencer se contentait de laisser la pauvreté et la négligence tuer les pauvres, les darwinistes sociaux ultérieurs ont estimé qu'une intervention active était nécessaire. Si l'IA est une approche véritablement nouvelle de l'informatique, ce qu'elle offre en termes d'application sociale est une intensification réactionnaire des hiérarchies existantes. Les contradictions sociales amplifiées par l'IA, et mises en évidence de manière si frappante par les disparités du COVID-19 et du changement climatique, sont les contradictions sociales que le fascisme prétendra résoudre.

Dan McQuillian est maître de conférences en informatique à Goldsmiths, Université de Londres. Il est diplômé en physique d'Oxford et titulaire d'un doctorat en physique expérimentale des particules de l'Imperial College de Londres. Après son doctorat, il a travaillé comme assistant pour des personnes souffrant de troubles de l'apprentissage et comme bénévole pour défendre la santé mentale, en informant les personnes en détention psychiatrique de leurs droits. Il a participé à de nombreux mouvements sociaux populaires et à l'activisme environnemental. Lors de la première vague de Covid-19, il a pris part à la création d'un groupe d'entraide local où il vit dans le nord de Londres. Le 15 juillet 2022 il a publié Resisting AI, An Anti-fascist Approach to Artificial Intelligence (Bristol University Press).

· Ce qui suit est un extrait du chapitre 4 - Nécropolitique - de Resisting AI, An Anti-fascist Approach to Artificial Intelligence .

Cet article fait partie de notre dossier Eugénisme pandémique du 12 avril 2023 ·

Nécropolitique

Le type de divisions sociales amplifiées par l'IA a été mis en lumière par COVID-19 : la pandémie exacerbe des injustices sociales sous-jacentes. L’augmentation des pénuries, des politique sécuritaires, des états d'exception et de la carcéralité renforcent des structures qui fragilisent déjà la société, et la polarisation croissante des richesses et de la mortalité sous l'effet de la pandémie est devenue un signe annonciateur de la société post-algorithmique. Il est généralement dit que ce qui viendra après le COVID-19 ne sera pas la même chose que ce qui était avant, que nous devons nous adapter à une nouvelle normalité ; on comprend peut-être moins à quel point la nouvelle normalité sera façonnée par les normalisations des réseaux neuronaux, à quel point le triage clinique enclenché par le virus est figuratif de la distribution algorithmique à long terme des chances de vie.

L'un des premiers signes d'alerte a été la façon dont l'IA n'a absolument pas été à la hauteur de son potentiel supposé en tant qu'outil prédictif lorsque le COVID-19 lui-même est apparu. Plus d'un an après le début de la pandémie, les chercheur·euses en médecine disposaient de suffisamment d'éléments pour évaluer les performances des outils d'apprentissage automatique en matière de diagnostic et de pronostic, c'est-à-dire pour prédire qui avait attrapé le virus et qui, après l'avoir attrapé, tomberait gravement malade. Les premiers jours de la pandémie ont été une période faste pour les praticien·nes de l'IA, car il semblait que c'était le moment où les nouveaux mécanismes de connaissance basés sur les données allaient montrer leur véritable force. "Je me suis dit : ‘S'il y a un moment où l'IA peut prouver son utilité, c'est bien maintenant’. J'avais de grands espoirs", a déclaré un épidémiologiste (Heaven, 2021). Dans l'ensemble, les études ont montré qu'aucun des centaines d'outils mis au point n'apportait de réelle amélioration, et que certains étaient même potentiellement nuisibles (Wynants et al, 2020 ; Driggs et al, 2021). Si les auteur·ices des études ont attribué le problème à des jeux de données de mauvaise qualité et à des "décalages entre les normes de recherche dans les communautés médicales et du machine learning" (Wynants et al, 2020 ; Driggs et al, 2021), cette explication ne tient pas compte des dynamiques sociales plus profondes que la réponse à la pandémie a mises en évidence de manière frappante, ni du potentiel de l'IA à alimenter et à amplifier ces dynamiques.

Au Royaume-Uni, les directives appliquées lors de la première vague du COVID-19 stipulaient que les patient·es atteint·es d'autisme, de troubles mentaux ou de difficultés d'apprentissage devaient être considéré·es comme "fragiles", impliquant qu'iels ne seraient pas prioritaires pour accéder à des traitements, comme par exemple les respirateurs. Certain·es médecins, localement, ont émis des avis généraux de non-réanimation pour les personnes handicapées. Le choc social provoqué par la pandémie a fait resurgir des présupposés sociaux viscéraux sur la "condition physique", qui ont façonné les politiques et les décisions médicales individuelles, et qui se sont reflétés dans les statistiques relatives aux décès de personnes handicapées (Office for National Statistics, 2020a). L'élaboration des politiques par le gouvernement britannique a enfreint les obligations qui lui incombent à l'égard des personnes handicapées en vertu de sa propre loi sur l'égalité et de la Convention des Nations unies relative aux droits des personnes handicapées (Tidball, 2020). "Il est extraordinaire de voir la rapidité et la propagation de pratiques eugénistes soft", a déclaré un universitaire de l'Université d'Oxford. "Il est clair que des systèmes sont mis en place pour juger qui mérite ou non d'être traité (Quarmby, 2020).

Dans le même temps, il est devenu tout à fait évident que les communautés noires et les minorités ethniques du Royaume-Uni étaient touchées par un nombre disproportionné de décès dus au COVID-19 (Office for National Statistics, 2020b). Si les premières tentatives d'explication ont fait appel au déterminisme génétique et aux tropes de la science raciale dont nous avons parlé plus haut, ces types d'inégalités en matière de santé sont principalement dus à des antécédents sous-jacents d'injustice structurelle. Les déterminants sociaux de la santé, tels que la race, la pauvreté et le handicap, augmentent la probabilité de pathologies préexistantes, telles que les maladies pulmonaires chroniques ou les problèmes cardiaques, qui sont des facteurs de risque pour le COVID-19 ; les mauvaises conditions de logement, telles que les moisissures, augmentent d'autres comorbidités, telles que l'asthme ; et les personnes ayant un emploi précaire peuvent simplement ne pas être en mesure de travailler à domicile ou même de se permettre de s'isoler. Tant de maladies sont en elles-mêmes une forme de violence structurelle, et ces déterminants sociaux de la santé sont précisément les points de pression qui seront encore plus exacerbés par l'extractivisme automatisé de l'IA.

En comprimant l'axe temporel de la mortalité et en étendant la menace immédiate à toutes les classes sociales, la pandémie a rendu visible l'ampleur des décès évitables jugés acceptables par le gouvernement. En termes de décès directement imputables aux politiques du gouvernement britannique, par exemple, les victimes de la pandémie peuvent être ajoutées aux 120 000 décès excédentaires estimés liés aux premières années d'austérité (Watkins et al, 2017). La pandémie de COVID-19 a jeté une lumière crue non seulement sur l'état de délabrement de l'offre sociale, mais aussi sur une stratégie étatique qui considère certains groupes démographiques comme jetables. Le discours public sur la pandémie a été étayé par un engagement tacite en faveur de la survie du plus fort, les décès des personnes souffrant de "problèmes de santé sous-jacents" étant présentés comme regrettables mais en quelque sorte inévitables. Compte tenu des fanfaronnades du gouvernement britannique sur la soi-disant "immunité collective", il n'est pas surprenant de lire des commentaires de journaux de droite affirmant que, "d'un point de vue économique totalement désintéressé, le COVID-19 pourrait même s'avérer légèrement bénéfique à long terme en éliminant de manière disproportionnée les personnes âgées dépendantes" (Jeremy Warner dans The Telegraph, cité dans Tilley, 2020).

Aussi effroyable que cela puisse être en soi, il est important d'examiner plus en profondeur la perspective implicite dont il s'inspire. Ce qui est en jeu, ce n'est pas simplement l'optimisation économique, mais un calcul social plus profond. L'économicisation de la vie, qui traite l'économie et la population comme des objets de gouvernance mutuellement articulés, n'est pas seulement liée au produit intérieur brut (PIB), mais aussi à des idées sédimentées sur la force de la population en tant que mesure du pouvoir. La puissance nationale, dans le cas du Royaume-Uni et de nombreuses autres nations occidentales, est liée à une colonialité continue et ininterrompue. La crainte profondément ancrée qui sous-tend l'acceptabilité de l'"abattage" de sa propre population est qu'une population blanche fragile est un fardeau, qui rend la nation vulnérable au déclin et au remplacement par des immigrant·es de ses anciennes colonies (Tilley, 2018). L'IA est un compagnon de route dans ce voyage d'optimisation ultranationaliste de la population en raison de son utilité en tant que mécanisme de ségrégation, de racialisation et d'exclusion. Après tout, la frontière décisionnelle la plus fondamentale se situe entre celleux qui peuvent vivre et celleux que l’on peut laisser mourir.

Les algorithmes prédictifs agissent comme un mécanisme de "racisme d'État" (Foucault, 2003, cité dans Spade, 2015), dont les opérations répartissent les ressources jusqu'au niveau des corps, identifiant certains comme dignes d'intérêt et d'autres comme des menaces ou des charges. L'IA deviendra ainsi la forme de gouvernance de ce que le philosophe postcolonial Achille Mbembe appelle la nécropolitique : l'opération de "faire vivre/laisser mourir" (Mbembé et Meintjes, 2003, pp. 11-40). La nécropolitique est le pouvoir de l'État qui non seulement choisit qui a droit d'être soutenu pour vivre, mais également qui sanctionne les opérations qui permettent la mort. Il s'agit d'une dynamique de négligence organisée, où des ressources telles que le logement ou les soins de santé font l'objet d'une raréfaction délibérée et où les personnes sont rendues vulnérables à des préjudices qui auraient pu être évités. Mbembe utilise le concept de nécropolitique pour définir la poursuite des relations établies avec l'esclavage, les plantations et la colonisation. L'abolitionniste Ruth Wilson Gilmore a donné une définition du racisme qui résume parfaitement sa nécropolitique intrinsèque : "Le racisme, plus précisément, est la production et l'exploitation, sanctionnées par l'État ou extralégales, différenciée selon les groupes, d'un risque accru de mort prématurée" (Gilmore, 2006, p. 28).

Eugénisme

Il existe une longue histoire d'enchevêtrement entre les logiques d'élimination et les mathématiques qui alimentent l'IA. Les méthodes mathématiques telles que la régression, qui ont été évoquées au chapitre 1 lorsque nous avons examiné les opérations de base de l'apprentissage automatique, trouvent leur origine dans le concept de "régression vers la moyenne", développé par Francis Galton dans le cadre de ses efforts visant à élaborer une métrique du darwinisme social. Les idées du darwinisme social sont apparues à peu près en même temps que la théorie de la sélection naturelle de Darwin et en dialogue avec elle, mais elles ont été développées par des personnes différentes et dans des buts différents. L'un des principaux représentants de ces idées était le philosophe britannique Herbert Spencer, qui considérait la pauvreté comme un signe d'inaptitude sociale. C'est l'ouvrage de Darwin intitulé "L'origine des espèces" qui lui a donné la crédibilité scientifique nécessaire à son élitisme social, et Spencer a inventé l'expression "la survie du plus apte" pour décrire la théorie de Darwin. Alors que Spencer se contentait de laisser la pauvreté et la négligence tuer les pauvres, les darwinistes sociaux ultérieurs ont estimé qu'une intervention active était nécessaire. Comme l'a écrit l'éminent eugéniste Madison Grant dans son livre The Passing of the Great Race : "les lois de la nature exigent l'élimination des inaptes, et la vie humaine n'a de valeur que lorsqu'elle est utile à la communauté ou à la race" (Grant, 1921, p. 167).

Galton, qui était le demi-cousin de Charles Darwin, était convaincu que la survie du plus apte s'appliquait à la société humaine et que l'intelligence était la mesure d'une aptitude supérieure. Il voulait établir le caractère héréditaire de l'intelligence comme facteur explicatif des hiérarchies sociales et raciales. Préfigurant les méthodes prédictives de l'apprentissage automatique, Galton souhaitait développer des mathématiques pour l'intervention sociale. Son objectif était d'encourager l'amélioration générale de la société par le biais de la reproduction sélective, en encourageant la production d'une progéniture par des parents à l'intelligence élevée et en décourageant celleux dont l'intelligence est plus faible d'avoir des enfants. Galton a appelé son programme "eugénisme", ce qui signifie "bien né" (Allen, 2001). Il a créé le premier département scientifique pour la promotion de l'eugénisme à l'University College de Londres, où son protégé Karl Pearson lui a succédé.

Pearson a développé le concept de coefficient de corrélation, qui est au cœur des statistiques en général et de l'apprentissage automatique en particulier. Mais il a également passé du temps à mesurer des crânes recueillis dans tout l'Empire, en particulier en Afrique, et a mis au point un "coefficient de ressemblance raciale", en partant du principe que la comparaison statistique des mesures de crânes permettrait de déterminer la race sans équivoque. Le travail fondamental de création des méthodes statistiques telles que nous les connaissons aujourd'hui était mené parallèlement à la poursuite d'une vision impérialiste raciale du progrès national. Dans une conférence donnée aux membres de la Literary and Philosophical Society, Pearson a déclaré : " Ma vision - et je pense qu'on peut l'appeler la vision scientifique d'une nation - est celle d'un ensemble organisé, maintenu à un haut niveau d'efficacité interne en s'assurant que ses effectifs soient substantiellement recrutés parmi les meilleurs stocks, et maintenu à un haut niveau d'efficacité externe par la compétition, principalement par la guerre avec les races inférieures " (Smith, 2019).

Galton et Pearson ont été suivis, en tant que fondateurs de la statistique moderne, par Ronald Fisher, qui a développé d'importants tests de pertinence statistique et des concepts centraux comme le "maximum de vraisemblance". Fisher a promu les tests de pertinence statistique en tant que cadre de référence généralisable applicable à toutes les expérimentations. C'était également un eugéniste, dont le célèbre ouvrage The Genetical Theory of Natural Selection comprenait des sections sur les "aspects économiques et biologiques des distinctions de classe" et la "décadence des classes dirigeantes" (Clayton, 2020). Alors que de nombreux membres des communautés scientifiques et statistiques aimeraient affirmer que les réalisations scientifiques peuvent être totalement dissociées des croyances de leurs auteurs, nous nous intéressons ici à la manière dont les positions politiques qui émergent autour de l'IA peuvent être directement rattachées à l'agenda suprémaciste pour lequel les méthodes statistiques ont été développées à l'origine.

La mesure statistique la plus instrumentalisée par les eugénistes à l'époque moderne est le QI. Ironiquement, son créateur, le psychologue français Alfred Binet, a mis au point le test de QI afin d'identifier les écoliers qui avaient besoin d'un soutien supplémentaire, et a rejeté l'idée qu'il s'agissait d'un attribut fixe et inné de l'individu. Mais l'idée du QI a été reprise par un chercheur du laboratoire d'eugénisme de Pearson, Charles Spearman. Il a utilisé la réduction statistique sur des groupes de résultats de tests de QI pour révéler ce qu'il croyait être un modèle sous-jacent, qu'il a appelé "intelligence générale" (le facteur g). Il était convaincu que les personnes supérieures étaient dotées d'une intelligence supérieure innée, et que cette intelligence pouvait être observée dans un modèle cohérent de performance à travers une variété de tâches intellectuelles. Spearman et ses collaborateurs ont construit une pyramide d'hypothèses : le QI reflète un facteur quantifiable appelé intelligence, ce facteur est largement inné et il représente et justifie l'existence de hiérarchies sociales observables (Smith, 2019).

L'idée que l'"intelligence" est une entité unique qui peut être résumée en un seul chiffre a été critiquée en profondeur (Gould, 1996). Différents tests de QI, et même différentes analyses des mêmes tests, produisent des résultats variables, ce qui indique que, quelle que soit la mesure du QI, il s'agit d'une combinaison de différents éléments. En outre, sa fiabilité en tant qu'indicateur d'un élément génétique est compromise par la façon dont le QI a augmenté au cours des dernières décennies (l'effet dit de Flynn). Sa dépendance à l'égard des facteurs socioculturels est mise en évidence par la façon dont "[l]es enfants les plus défavorisés socialement et économiquement ont perdu des points de QI pendant les vacances d'été, alors que les plus favorisés ont acquis des connaissances et des compétences au cours de la même période" (Saini, 2019, chapitre 9). La seule chose dont nous pouvons vraiment être sûr·es, c'est que le QI mesure les performances des personnes aux tests de QI. Cependant, comme nous le verrons bientôt, l'engagement sous-jacent en faveur d'une hiérarchie de l'intelligence alimente directement les croyances contemporaines sur l'IA.

Le QI a été institutionnalisé dans l'entre-deux-guerres par le biais d'une loi américaine imposant l'exclusion et la stérilisation des personnes dites faibles d'esprit. Ces mesures visaient les groupes ethniques d'immigrant·es à "faible QI" qui menaçaient de "diluer la force des États-Unis", et étaient utilisées pour justifier leur interdiction d'entrée à Ellis Island, à New York (Smith, 2019). Si l'eugénisme pur et dur est tombé en disgrâce après la Seconde Guerre mondiale en raison de son association avec les crimes nazis, le QI en tant que mesure de la valeur raciale a refait surface à l'époque des droits civiques. L'idée d'une différence innée de QI entre les races est devenue une objection centrale à l'égalité raciale à l'époque des droits civiques, et a ensuite refait surface dans des textes populaires comme The Bell Curve, avec ses propositions de politique sociale fondées sur des liens supposés entre la race et l'intelligence. Ce livre partait du principe que l'intelligence peut être réduite à un nombre qui peut ensuite être utilisé pour classer les gens dans un ordre linéaire, que l'intelligence est essentiellement génétique et que la longue histoire de l'esclavage et du racisme n'a pas d'effet significatif sur les données des tests de QI. Le corpus de concepts racialisés circulant autour de l'intelligence et du QI n'a jamais disparu, et sont monnaie courante à travers une nouvelle génération de réactionnaires sur les réseaux sociaux. Pour ses adeptes, l'idée du facteur g n'est pas un modèle statistique, mais une force bien réelle dans le monde, qui explique l'existence des différences sociales observées. L'intérêt de ce livre réside dans la façon dont des croyances similaires réapparaissent constamment dans le discours sur l'IA.

L'efficacité surprenante de l'IA dans certaines conditions a suffi, aux yeux de certain·es, à raviver l'espoir en l'avènement de l'Intelligence Artificielle Générale ( IAG ). L'IAG fait référence à un authentique raisonnement de la machine, et non à une stricte imitation par l'IA du comportement humain dans le cadre de tâches spécifiques. Un système IAG aurait la même capacité d'apprentissage que nous, avec un niveau d'autonomie équivalent et des capacités de résolution de problèmes que nous associons normalement à un être conscient et pensant. En d'autres termes, il ferait preuve d'une intelligence générale telle que définie par Spearman. Si la plupart des adeptes du deep learning reconnaissent qu'on est encore loin de l'IAG, beaucoup continuent de croire qu'il s'agit d'un pas irrévocable dans cette direction. Le laboratoire de recherche OpenAI, un des leaders du secteur, a par exemple été fondé en prévision de l'IAG et sa charte stipule que "la mission d'OpenAI est de s'assurer que l'intelligence générale artificielle (IAG) - c'est-à-dire des systèmes hautement autonomes qui surpassent les humains dans la plupart des tâches économiquement utiles - bénéficie à l'ensemble de l'humanité" (OpenAI, 2018b). L'IAG est également l'objectif ultime de DeepMind, filiale d'Alphabet, dont l'énoncé de mission est d’ "élucider l'intelligence et de faire progresser la découverte scientifique pour tous".

Les partisan·nes de l'IAG partent généralement du principe que l'esprit est la même chose que l'intelligence, qui est elle-même comprise comme logique et rationalité. L'engagement en faveur de l'IAG et la réification du rationalisme qui y est associée s'accompagnent souvent d'un imaginaire social qui tourne autour de l'élitisme intellectuel et de la croyance en une supériorité innée et biologisée. C'est à ce stade que la croyance en l'IAG commence à évoquer des notions historiques plus profondes sur la hiérarchie des êtres. Si l'intelligence est une chose qui peut être classée et qui est considérée comme un marqueur de valeur, on peut supposer qu'elle s'applique également aux personnes. La hiérarchie de l'intelligence, qui accompagne automatiquement le concept d'IAG, se confond avec l'idée qu'une telle hiérarchie existe déjà chez les humains. Cette conviction est partagée par les expert·es en IA qui accueillent favorablement l'IAG et par celleux qui s'y opposent en termes apocalyptiques ; ces dernier·es craignent simplement de perde leur statut de supériorité au profit d'une machine. D'un point de vue pragmatique, la notion de hiérarchie naturelle de l'intelligence n'est pas un problème pour les élites de l'ingénierie et des affaires, car elle justifie leurs privilèges, mais l'importance historique de cette perspective réside dans la manière dont elle a été déployée pour légitimer des ordres sociaux et politiques oppressifs. En particulier, il s'agit d'un concept racialisé et sexué qui a été largement appliqué pour justifier la domination d'un groupe de personnes sur un autre, notamment dans le cadre du colonialisme.

Le discours sur l'IAG se confond trop facilement avec le récit de la supériorité raciale et de la suprématie blanche (Golumbia, 2019). Historiquement, c'est la nécessité d'un tel récit qui a conduit à l'émergence des notions modernes de race et d'intelligence. Il était également lié aux machines et à la technologie : "Pour les puissances coloniales européennes, la supériorité de la science et de la technologie n'était pas seulement un moyen de conquête, mais une partie de sa justification, car elle démontrait la supériorité de leur intellect et de leur culture" (Cave, 2020). Les machines sont à la fois un moyen de domination et la preuve de la supériorité innée de celleux qui les déploient. L'IA matérialise une hiérarchie des êtres dont la justification même est le contrôle des moyens permettant d'ancrer davantage cette même hiérarchie.

La possibilité que l'idéologie de l'intelligence supérieure et la pratique de l'apprentissage automatique s'unissent dans la poursuite d'un eugénisme machinique plane sur l'IA. Les discours actuels selon lesquels les résultats scolaires sont génétiquement conditionnés (Lee et al, 2018), par exemple, pourraient se fondre dans l'expansion actuelle des technologies d'apprentissage basées sur l'analyse prédictive. Le résultat concret serait un apartheid éducatif fondé sur les données. Il est intéressant de noter que lorsque des eugénistes contemporain·es ont organisé clandestinement une "Conférence de Londres sur l'intelligence" sur le campus de l'University College en 2017, une personne que le gouvernement britannique avait nommée au sein de son organisme de réglementation de l'enseignement supérieur y a assisté (Rawlinson et Adams, 2018). Les déterministes génétiques se cachent dans les rangs des conseiller·es gouvernementale·ux au Royaume-Uni (Cummings, 2014) et des responsables politiques aux États-Unis (Johnson, 2013), plaidant pour une "réforme rationnelle" de l'éducation et de bien d'autres domaines encore. Le problème n'est pas seulement l'attribution utilitariste des chances de vie, mais aussi la question de savoir qui peut décider quel type de vie vaut la peine d'être vécue. Comme le souligne Ruha Benjamin, philosophe de la race et de la technologie, "la croyance que les humains peuvent faire l’objet d’une meilleure conception que ce qu’iels sont" est en réalité "une croyance que davantage d'humains peuvent être comme celleux qui sont déjà considéré·es comme supérieurs" (Benjamin, 2019, p. 117).

La régression, la corrélation et la notion d'intelligence générale témoignent de liens historiques avec l'eugénisme que le domaine de l'IA n'a jamais complètement affrontés. Les mathématiques de désenchevêtrement sur lesquelles s'appuie l'IA ont été motivées par le désir de distinguer le supérieur de l'inférieur dans l'espèce humaine, et d'utiliser la prédiction et l'intervention pour empêcher la propagation de l'inférieur. La séparation et la ségrégation sont les opérations fondamentales de l'IA et de l'eugénisme, et la question urgente est de savoir dans quelle mesure cet héritage contribuera à façonner une société post-AI. Il existe assurément de fortes similitudes entre l'idée opérationnelle centrale de l'optimisation et la perspective eugéniste sur les populations. D'un point de vue plus pratique, la promesse de gains d'efficacité à grande échelle de l'IA correspond à la manière dont les eugénistes historiques "se sont présentés comme des experts en efficacité, aidant la société à économiser des millions de dollars en stérilisant les déficient·es afin que l'État n'ait pas à s'occuper de leur progéniture" (Allen, 2001). Il ne serait pas nécessaire à un eugénisme piloté par l'IA d'être mis en œuvre à travers quelque chose d'aussi grossier que la stérilisation forcée : il pourrait simplement fonctionner comme un filtrage d'infrastructure à grande échelle. Lorsque les besoins de base tels que l'alimentation et le logement sont précarisés et que les soins sont délibérément détournés, les gens sont facilement victimes de maladies qui auraient pu être évitées. C'est par ce type de "laisser mourir" que la nécropolitique entre pleinement dans les réseaux neuronaux.

Fascisme

S'il y a une chose que l'histoire nous enseigne, c'est qu'il faut se méfier de ce à quoi peut aboutir l'application systématique d'un ordre discriminatoire. Les tendances nécropolitiques que nous avons décrites dans le domaine de l'IA sont en résonance avec le virage contemporain vers l'extrême droite. Cette forme de politique réapparaît dans l'industrie technologique elle-même, dans divers gouvernements et institutions, et dans la recrudescence des mouvements politiques populistes et fascistes. Certains des liens apparemment opportunistes entre l'extrême droite et l'IA révèlent des liens structurels plus profonds. Par exemple, l'un des cofondateurs de la startup de reconnaissance faciale Clearview AI, qui a des contrats avec l'US Immigration and Customs Enforcement (ICE) et l'US Attorney's Office for the Southern District of New York, s'est avéré avoir "des liens de longue date avec des extrémistes d'extrême droite" (O'Brien, 2020), tandis qu'un autre a déclaré qu'il "construisait des algorithmes pour identifier tous les immigrés clandestins pour les escouades d'expulsion". L'un des investisseurs de Clearview était Peter Thiel, cofondateur de PayPal et investisseur de la première heure dans Facebook. Sa société d'analyse de big data, Palantir, a conclu des contrats avec la Central Intelligence Agency, le Pentagone et le département de la sécurité intérieure, et fournit des analyses de cibles pour les raids de l'ICE. Ce n'est pas que l'industrie de l'IA soit remplie de militant·es d'extrême droite, mais plutôt que des courants d'opinion réactionnaires apparaissent de manière rhizomatique dans le domaine de l'IA. Comme nous le verrons, suivre ces courants révèle la double hélice descendante de la technopolitique de l'IA, qui relie les idéologies du rationalisme statistique à celles du fascisme.

La première couche de politique réactionnaire qui forme une pénombre visible autour de l'industrie de l'IA peut être vaguement appelée "ultrarationalisme" parce que sa caractéristique la plus identifiable est un attachement sociopathique à la rationalité statistique. Il ne s'agit pas d'une approche rationnelle de la vie, mais de la réification d'une étroitesse intellectuelle plutôt froide qui est prête à remettre en question n'importe quelle hypothèse, y compris celle de la compassion envers ses semblables, si elle tombe en contradiction avec un type de raisonnement spécifique. L'une des marques de fabrique du rationalisme de type technologique est la référence fréquente au Bayesianisme. Les statistiques bayésiennes, largement utilisées dans l'apprentissage automatique, sont une interprétation des probabilités qui ne se concentre pas sur la fréquence d'occurrence (la base des statistiques classiques) mais sur les attentes représentant un état antérieur des connaissances. Ce qui importe ici, c'est que les statistiques bayésiennes reflètent l'état des connaissances sur un système et sont modifiées par la "mise à jour de vos antécédents" (prise en compte de connaissances nouvelles ou actualisées). Les ultrarationalistes pensent que le bayésianisme offre une approche supérieure à celle de l'expertise ou de l'expérience vécue (Harper et Graham, nd). Les enthousiastes s'enorgueillissent de l'avoir adopté non seulement comme approche pour concevoir des algorithmes d'apprentissage automatique, mais aussi comme moyen rationnel et empirique d'aborder la vie de tous les jours, sans se laisser détourner par quoi que ce soit d'aussi trompeur que l'émotion ou l'empathie. Il n'est peut-être pas surprenant qu'un tel ethos trouve sa place dans une culture de l'informatique et de l'IA, en particulier parmi celleux qui croient que nous sommes sur la voie de l'intelligence artificielle générale : « Dans l'IAG, nous observons une surévaluation particulière de l'"intelligence générale" comme étant non seulement la marque de l'être humain, mais aussi de la valeur humaine : tout ce qui a de la valeur dans l'être humain est capturé par la "rationalité ou la logique". » (Golumbia, 2019).

Ce type d'ultrarationalisme et ses liens avec l'intelligence artificielle ont d'abord été exprimés sur des blogs tels que LessWrong, dont l'initiateur était le théoricien autoproclamé de l'IA superintelligente, Eliezer Yudkowsky, et sur des blogs tels que le Slate Star Codex, pierre angulaire de l'ultrarationalisme. Malgré toute leur prétention à parler de science et de statistiques, les ultrarationalistes sont tellement imbus de leur sentiment inné de supériorité qu'ils font rarement les recherches de fond nécessaires pour comprendre réellement un domaine de pensée et semblent souvent heureux d'inventer des choses simplement pour prouver leur point de vue. Comme le note Elizabeth Sandifer, chercheuse et écrivaine qui a étudié en profondeur les ultrarationalistes, le point de vue de ces blogs résonne fortement avec le secteur technologique, car les deux communautés se considèrent comme iconoclastes, bouleversant sans crainte les connaissances établies en utilisant uniquement le pouvoir de leur propre esprit intelligent. "Il n'est pas surprenant que le secteur technologique s'en soit inspiré. L'industrie technologique aime les disrupteurs et les pensées disruptives", dit-elle, "mais ... le caractère provocateur de ces idées les rend attrayantes pour les personnes qui ne réfléchissent peut-être pas suffisamment aux conséquences" (Metz, 2021).

Les ultrarationalistes sont irréfléchis au point de s'auto-parodier. Ils donnent à leurs efforts des étiquettes valorisantes comme " l'Intellectual Dark Web " ; leurs blogs sont verbeux et pleins de jargon, principalement pour obscurcir leurs valeurs fondamentales ; et alors qu'ils prétendent épouser une liberté d'expression absolue, ce qu'iels produisent en réalité, ce sont des expressions détournées des privilèges masculins et de la suprématie Blanche. Ils se plaignent que les hommes sont opprimés par les féministes et que la libre pensée sur les différences sociales innées est entravée par un mouvement politiquement correcte, mais ce qui les rend vraiment furieux, c'est que quelqu'un·e les remette en question. Cette version populiste du rationalisme légitime le privilège patriarcal, en particulier pour les jeunes hommes, et sert de porte d'entrée aux positions politiques d'extrême droite (Peterson, 2018). En lui-même, ce phénomène pollue le vivier dans lequel sont puisés les praticiens de l'IA, mais l'ultrarationalisme est aussi directement imbriqué dans l'économie politique de l'IA. Peter Thiel était un ami de Yudkowsky et a investi de l'argent dans son institut de recherche (Metz, 2021). Il a également investi dans deux adeptes du blog de Yudkowsky qui ont lancé une entreprise d'IA appelée DeepMind, rachetée par la suite par Google, qui s'est fait connaître en développant le système de jeu de Go AlphaGo. OpenAI a été fondée pour concurrencer DeepMind grâce à des investissements d'Elon Musk, et tant DeepMind qu'OpenAI ont recruté des membres de la communauté rationaliste (Metz, 2021). S'il est difficile de savoir quelle proportion de praticiens nourrissent ce genre d'idées, cette communauté ultrarationaliste est surtout importante parce qu'elle sert de passerelle entre le domaine de l'IA et des politiques plus explicitement autoritaires telles que la néoréaction.

La néoréaction, ou ce que l'un de ses penseurs fondateurs, Nick Land, appelle "les Lumières sombres" [the Dark Enlightment] (Land, 2012), est une idéologie qui embrasse et amplifie des concepts tels que l'eugénisme guidé par les données. Elle s'inspire de courants de pensée qui, comme l'alt-right et la nouvelle vague de suprématie blanche, trouvent leur source dans les forums et les discours en ligne. Ce qui distingue la néoréaction de certaines autres manifestations de l'extrême droite en ligne, comme la misogynie débordante du Gamergate (le harcèlement en ligne des femmes et du féminisme dans l'industrie du jeu) ou le trolling haineux de 8chan (un site de messagerie ayant des liens avec la suprématie blanche), c'est sa relative cohérence en tant qu'idéologie. Et bien que la néoréaction en tant que mouvement a surement une portée limitée, les courants qu'elle rassemble sont significatifs en raison de leur alignement sur les possibilités de l'IA. En fait, la néoréaction peut être considérée comme un versant théorique de la nécropolitique induite par l'IA.

La néoréaction adhère explicitement aux hiérarchies innées de genre et d'intelligence qui, comme nous l'avons vu, ne sont que trop facilement renforcées par l'IA. Elle manifeste un enthousiasme pour la science de la race, en particulier pour la version du déterminisme génétique appelée biodiversité humaine, et pour le réalisme racial qui légitime le concept de sous-espèces humaines. Le génétisme de la néoréaction est principalement axé sur le QI en tant que principal moteur du statut socio-économique, et il a pour vision une "élite génétiquement autorégulée" (Haider, 2017). Elle est explicitement anti-démocratique, considérant la démocratie comme une expérience manifestement et inévitablement vouée à l'échec. Elle s'inspire de courants libertariens plus larges qui affirment qu'en raison du rationalisme inadéquat du grand public, la démocratie électorale "conduira inévitablement à une politique économique sous-optimale" (Matthews, 2016).

Les structures politiques désirées par la néoréaction sont autoritaires ou monarchiques, et prennent généralement la forme d'un État corporatif avec un directeur général (CEO) plutôt qu'un dirigeant élu. Les noms qui reviennent lorsqu'il est question du rôle du dirigeant sont ceux de personnes telles que Peter Thiel, qui semble partager bon nombre des mêmes tendances politiques que la néoréaction, ou Eric Schmidt, l'ancien PDG de Google/Alphabet. Dans son essai de 2009 pour la publication libertarienne Cato Unbound, Thiel a déclaré : "Je ne crois plus que la liberté et la démocratie soient compatibles". L'argument des blogueurs néoréactionnaires est qu'un "gouvernement économiquement et socialement efficace se légitime lui-même, sans avoir besoin d'élections" (MacDougald, 2015). La néoréaction est l'ascension de la technocratie capitaliste sans les pièges de la légitimité électorale et avec une croyance quasi mystique dans l'autorité et la hiérarchie.

Ces techno-autoritaires méprisent la démocratie, qu'ils considèrent comme un système d'exploitation dépassé qu'ils peuvent remplacer par leur propre mélange d'autocratie et d'algorithmes. L'un des représentants les plus prolifiques de la néoréaction, Curtis Yarvin (alias Mencius Moldbug), appelle cela le néocaméralisme, en référence à son admiration pour le système politique et bureaucratique de Frédéric le Grand de Prusse. La future nation n'a pas de citoyen·nes mais des actionnaires : "Pour un néocaméraliste, un État est une entreprise qui possède un pays" (Moldbug, 2007). Étant donné que le chiffre d'affaires combiné des quatre géants de la Silicon Valley -Alphabet (Google), Apple, Amazon et Meta - est plus important que la totalité de l'économie de l'Allemagne, cette vision n'est peut-être pas si irréaliste. D'après la néoréaction accélérationniste de Nick Land, le système capitaliste est "enfermé dans une expansion révolutionnaire constante, se déplaçant vers le haut et vers l'extérieur selon une trajectoire de production d'intelligence technologique et scientifique qui, à la limite, franchirait le seuil de ses hôtes biologiques humains" pour se transformer en une intelligence artificielle supérieure (Matthews, 2016).

En outre, les tentatives visant à arrêter l'émergence de l'IA seront vaines. Les impératifs de la concurrence, qu'il s'agisse d'entreprises ou d'États, font que tout ce qui est technologiquement faisable est susceptible d'être déployé tôt ou tard, quelles que soient les intentions politiques ou les préoccupations morales. Il s'agit moins de décisions prises que de choses qui se produisent en raison d'une dynamique structurelle irrésistible, par delà le bien et le mal. (MacDougald, 2015)

La néoréaction prend les dynamiques structurelles qui sont à l'origine de la nocivité de l'IA et les élève au rang de téléologie.

La justification générale de ces croyances est que les systèmes existants sont manifestement imparfaits et inefficaces, et qu'ils sont infectés par des croyances non empiriques en l'égalité humaine. Les progrès technologiques fournissent l'architecture permettant de dépasser ces dépendances médiocres pour un avenir optimisé. La néoréaction semble manifester une forme pure du type d'insouciance qui accompagne déjà l'IA, et un manque d'engagement émotionnel poussé jusqu'à la pathologie. Dans l'ordre mondial technocratique de la néoréaction, les gens sont essentiellement des actif·ves ou des passif·ves, et ces dernier·es, qu'iels soient handicapé·es, neurodivergent·es ou racialement inférieur·es, se définissent très certainement comme étant jetables. Malgré toute sa prétention intellectuelle, la néoréaction est une glorification des inégalités existantes et un souhait d'intensification de celles-ci, fondé sur l'idée que certaines personnes sont plus "aptes" que d'autres, que leur privilège est inscrit dans leur ADN et qu'il est démontré par leur richesse et leur pouvoir. Cela donne un mélange enivrant qui avec des systèmes comme l'IA, ont tendance à souligner et à accentuer les disparités existantes entre les classes, les genres, les races et au-delà. Les systèmes technocratiques existants intègrent déjà ces discriminations, mais l'IA et la néoréaction les accélèrent.

L'ultrarationalisme et la néoréaction sont des idéologies qui maintiennent l'IA alignée sur la suprématie blanche, mais elles n'épuisent pas tout son potentiel d'amplification des politiques d'extrême droite. Nous nous trouvons à un moment critique pour l'IA, non seulement parce qu'elle peut intensifier les injustices sociales existantes, mais aussi en raison de la montée des forces politiques d'extrême droite prêtes à en tirer parti. Nous devons examiner la relation potentielle entre l'IA et le fascisme. Comme pour les autres liens entre les forces sociales et l'IA que nous avons examinés dans ce livre jusqu'à présent, il ne s'agit pas seulement d'une question d'adoption de l'IA par des courants politiques fascistes, mais des résonances entre les politiques fascistes et les opérations de base de l'IA.

Le fascisme est plus qu'un moyen autoritaire de maintenir le système en place pendant les périodes difficiles. C'est une idéologie révolutionnaire qui appelle au renversement du statu quo sur les fronts politiques et culturels. Si l'IA peut sembler être le summum de l'abstraction intellectuelle, puisqu'elle repose sur des mathématiques complexes et des systèmes de calcul à grande échelle finement réglés, ses ségrégations réductrices du social la rendent vulnérable au type d'anti-intellectualisme qui alimente l'idéologie populiste et fasciste. Ce qui est en jeu avec l'IA, ce n'est pas seulement la partialité et l'injustice, mais son assimilation dans des projets politiques d'extrême droite. Pour les idéologues fascistes qui glorifient la violence, les tendances de l'IA à la violence épistémique, structurelle et administrative ne sont pas des défauts mais des atouts. Le potentiel disruptif de l'IA risque de se confondre avec les bouleversements les plus sauvages d'une vision sociale fasciste.

Comme nous l'avons vu dans l'introduction, l'objectif principal du fascisme est la renaissance d'une communauté nationale mythique à partir d'un état d'impureté et de déclin. La révolution fasciste repose sur l'identification d'un ennemi intérieur dont la présence pollue la communauté organique de la nation, un ennemi qui peut également être tapi aux frontières et menacer d'envahir la patrie. Selon le philosophe nazi Carl Schmitt, "la spécificité du politique" est la "discrimination entre l'ami et l'ennemi". Selon Schmitt, "toute démocratie réelle repose sur le principe que non seulement les égaux sont égaux, mais que les inégaux ne seront pas traités de la même manière. La démocratie exige donc d'abord l'homogénéité et ensuite - si le besoin s'en fait sentir - l'élimination ou l'éradication de l'hétérogénéité" (Schmitt, 1988, p. 9). Il n'est pas difficile de voir comment les pouvoirs de discrimination de l'IA et sa facilité à créer des états d'exception s'alignent sur ce type de projet politique, où l'objectif final de l'exclusion sociale est une forme d'eugénisme.

Le danger immédiat n'est pas l'adoption de l'IA par un régime fasciste avéré, mais le rôle de l'IA dans le type de fascisation dont nous avons parlé dans l'introduction. Dans de nombreux pays, les agences gouvernementales se précipitent déjà pour adopter l'IA dans le but de contrôler les "groupes marginaux" tels que les immigrant·es et les minorités ethniques, tandis que l'Union européenne, gardienne institutionnelle autoproclamée des Lumières modernes, finance des systèmes de contrôle des frontières basés sur l'IA, tout en laissant des familles se noyer dans la Méditerranée. Le fait que l'IA soit déployée par des États qui se décrivent comme des démocraties n'est pas d'un grand réconfort si l'on se souvient que l'État national-socialiste allemand des années 1930 était également une démocratie constitutionnelle en termes formels, bien qu'elle ait été vidée de sa substance par des États d'exception. Compte tenu des alliances historiques entre le fascisme et les grandes entreprises, nous devrions également nous demander si les entreprises d'IA contemporaines hésiteraient à mettre les instruments de corrélation de masse à la disposition de régimes prônant un ethnocentrisme rationalisé. En fait, comme le suggère l'histoire de la complicité des entreprises, elles sont susceptibles de s'aligner sur cette fraction de la classe dominante qui, voyant ses intérêts menacés par une crise insoluble, se range derrière un mouvement fasciste comme dernière ligne de défense.

Le fascisme historique s'est montré capable de s'approprier la dissonance que représente l'utilisation des nouvelles technologies pour forcer un retour à un passé ultra-traditionnel imaginé. Grâce à des idéologues comme Ernst Jünger et à sa vision des "techniques nées du feu et du sang" (Herf, 1986, cité dans Malm et The Zetkin Collective, 2021), les nazis ont développé un "modernisme réactionnaire" (Herf, 1986) qui s'appropriait la haute technologie tout en rejetant les systèmes de valeurs modernes. Les opérations du fascisme allemand n'ont été possibles que grâce aux possibilités offertes par les technologies de pointe et à une bureaucratie complaisante. Le régime nazi a adopté la technologie pré-informatique des machines à cartes perforées Hollerith, fournies par Dehomag, une filiale d'IBM (Black, 2012), comme élément important de son programme de tri social de masse et d'identification des groupes démographiques à éliminer - ceux que les nazis appelaient Lebensunwertes Leben, " les vies indignes d'être vécues ". Alors que l'idéologie du fascisme se concentre généralement sur un âge d'or perdu enraciné dans la tradition folklorique, séduisant aujourd'hui celleux qui se sentent perdus face à la mondialisation et à la technocratie, le fascisme historique était très pragmatique dans son adoption de la haute technologie au service d'une modernité alternative (Paxton, 2005).

Le fascisme répond aux contradictions sociales réelles en proposant une fausse révolution et une catharsis à travers des psychoses collectives. "Nous ne sommes pas obligé·es de croire que les mouvements fascistes ne peuvent arriver au pouvoir qu'en rejouant exactement le scénario de Mussolini et d'Hitler. Tout ce qui est nécessaire pour correspondre à notre modèle est la polarisation, une situation sans issue, une mobilisation de masse contre des ennemi·es internes et externes, et la complicité des élites existantes" (Paxton, 2005). Nous ne pouvons pas compter sur les images du fascisme passé pour être alerté·es de sa réémergence, car le fascisme ne nous fera pas la faveur de revenir sous la même forme facilement reconnaissable, en particulier lorsqu'il trouve de nouveaux vecteurs technologiques. Si l'IA est une approche véritablement nouvelle de l'informatique, ce qu'elle offre en termes d'application sociale est une intensification réactionnaire des hiérarchies existantes. De même, le fascisme offre l'image et l'expérience de la révolution sans modifier fondamentalement les relations de production ou la propriété. L'IA est un solutionnisme technosocial, tandis que le fascisme est un solutionnisme ultranationaliste. Les contradictions sociales amplifiées par l'IA, et mises en évidence de manière si frappante par les disparités du COVID-19 et du changement climatique, sont les contradictions sociales que le fascisme prétendra résoudre.

Nous devons faire preuve d'une vigilance critique à l'égard des résonances politiques de l'IA, en particulier lorsqu'elle prétend offrir une plus grande efficacité sociale par le biais d'actes de séparation et de ségrégation. L'essence du fascisme est la mise à l'écart de la démocratie et des procédures régulières, considérées comme un projet voué à l'échec, et leur remplacement par un système plus efficace d'exclusion ciblée. Le fascisme est moins une proposition idéologique cohérente qu'un ensemble de "passions mobilisatrices" (Paxton, 2005), à la base desquelles se trouve une polarisation passionnelle, une lutte entre les pur·es et les corrompu·es, où sa propre communauté ethnique est devenue la victime de minorités inassimilables. Ce sont des sentiments qui justifient toute action sans limite, et le fascisme poursuit la violence rédemptrice sans aucune restriction éthique ou juridique. Dans le fascisme, la sensation d'une crise écrasante se combine à la croyance en la primauté du groupe pour diriger l'intégration nationale par le recours à l'exclusion violente.

Crise climatique

La crise qui semble la plus susceptible d'entraîner la convergence de l'IA avec une politique fasciste est le changement climatique. Le discours promotionnel autour de l'IA invoque souvent une fonction non démontrée mais vitale dans l'atténuation directe de la crise climatique, par exemple lorsque Demis Hassabis, cofondateur de DeepMind, affirme que son logiciel AlphaFold de prédiction des structures protéiques pourrait permettre d'identifier des protéines capables de produire des biocarburants renouvelables (Revell, 2020). Selon Hassabis, une amélioration exponentielle de l'IA est bien plus susceptible de sauver le monde de la catastrophe climatique que des changements dans le comportement humain (Heath, 2018). Nous avons toutefois déjà noté certaines contributions de l'IA au changement climatique, telles que ses besoins énergétiques dévorants, sa consommation de ressources en eau et sa promotion en tant qu'accélérateur de l'industrie des combustibles fossiles. L'IA fait déjà partie intégrante d'un système plus large où l'extraction suit de près l'abstraction, où tout ce qui existe dans le monde est considéré comme une ressource utilitaire, et non comme une composante d'un écosystème fragile. Mais au-delà, la crise climatique projette sur une toile géante deux des aspects les plus problématiques de l'IA : son solutionnisme et son inclination fascisante. La principale menace climatique posée par l'IA n'est pas l'utilisation abusive d'énergie pour former les modèles, mais l'idée que l'IA est essentielle pour "résoudre" le changement climatique.

L’approche hégémonique du changement climatique, telle qu'elle s'exprime dans les résolutions des récentes conférences des Nations unies sur le changement climatique, est essentiellement solutionniste. Alors que la rhétorique sur le réchauffement climatique veut que nous soyons tous·tes dans le même bateau, les mesures climatiques actuelles renforcent la division entre privilèges et vulnérabilités. Plutôt que de prendre en compte la nécessité d'une véritable restructuration du système mondial qui a alimenté la crise, les réponses sont un mélange de mécanismes de marché tels que la compensation des émissions de carbone et de solutions de haute technologie telles que le piégeage du carbone. Compte tenu de tout ce que nous avons vu dans les chapitres précédents, il est facile de voir à quel point l'IA s'inscrit parfaitement dans cette approche, à la fois en tant que mécanisme d'optimisation des mécanismes de marché et en tant qu'élément central des solutions techniques. De plus, le changement climatique produira de nouvelles formes d'austérité que les systèmes d'IA prendront en charge. La crise climatique manifeste toutes les tendances nécropolitiques dont nous avons parlé dans ce chapitre, de la production de pénurie à l'état d'exception.

L'un des signes les plus sombres de l'inaction du néolibéralisme face à la crise climatique est l'alliance entre le négationnisme climatique et les politiques fascistes. Comme le montre en détail le livre Fascisme fossile (Malm and The Zetkin Collective, 2021), il existe une longue et ignoble alliance entre les élites engagées dans l'extraction des combustibles fossiles et les mouvements politiques d'extrême droite, qui s'exprime à la fois par le financement et par le chevauchement idéologique. Les veines de cette tendance, que l'on peut qualifier de "fascisme fossile", sont aussi profondes que les réserves de charbon elles-mêmes - du suprémacisme blanc colonialiste qui justifie l'extraction des ressources du Sud pour les brûler dans le Nord, aux liens Volkish "du sang et du sol" entre les ethnonationalistes et les ressources minérales qui se trouvent dans le sous-sol. Ce négationnisme utilise le même type de tactiques de diversion qui sont implicitement mises en œuvre par tout solutionnisme ; le problème n'est pas le changement climatique mais la présence d'un trop grand nombre d'immigré·es ou de musulman·es qui perturbent notre société et remplacent notre population. La fascisation de l'IA qui nous guette ici est claire ; lorsque la collision entre l'extractivisme continu et les conséquences climatiques évidentes provoquera une crise politique et sociale, l'élite fossile pourrait apporter son soutien inconditionnel à une solution politique fasciste. À ce moment-là, toutes les ressources de l'État seront à la disposition de l'extrême droite, y compris les pouvoirs de ségrégation de l'IA.

L'autre réponse potentielle est l'écofascisme, où l'existence et les conséquences du changement climatique seraient largement acceptées par les mouvements politiques d'extrême droite, mais où la responsabilité de ces conséquences serait rejetée sur des cibles racialisées. Dans ce cas, la crise climatique est interprétée comme la preuve de l'effondrement décadent de l'ordre naturel (Moore et Roberts, 2021). L'écofascisme accuse généralement la surpopulation du Sud d'être à l'origine à la fois du réchauffement climatique et du flux de réfugié·es et de migrant·es dans les pays occidentaux. On peut en voir un exemple dans le récent passage du Rassemblement national (anciennement Front national), parti d'extrême droite français, du négationnisme climatique à une position consistant à accuser le "nomadisme planétaire" de détruire la "civilisation écologique européenne" (Malm et The Zetkin Collective, 2021, p. 136). L'outil principal de cet extrémisme malthusien est la frontière : "C'est en revenant aux frontières que nous sauverons la planète" et "Le meilleur allié de l'écologie, c'est la frontière" (Malm et The Zetkin Collective, 2021, p. 136). Les pratiques de division de l'IA trouveront également leur place dans l'offre de l'écofascisme pour résoudre la crise climatique une fois pour toutes.

Le désastre climatique étant déjà une réalité pour beaucoup, avec environ 7 millions de personnes déplacées en raison de conditions météorologiques extrêmes au cours du seul premier semestre 2019 (Dobbe et Whittaker, 2019), l'application immédiate de l'IA consistera à "gérer" les crises de récession et de réfugié·es climatiques qui s'ensuivront. Comme le note la philosophe Isabelle Stengers dans son commentaire sur la crise climatique, " l'humanité bascule rapidement dans un état d'apartheid global, organisé autour des questions de sécurité et d'accès aux ressources " (Beuret, 2017). La fascisation de l'IA sous l'effet du changement climatique, via une combinaison quelconque de fascisme fossile ou d'écofascisme, en fera un appareil non pas de solutions réelles, mais de ségrégation et d'apartheid.

Ce chapitre montre que non seulement l'IA amplifie les inégalités néolibérales, mais qu'elle accélère également les différentes dimensions de la nécropolitique, c'est-à-dire la politique qui consiste à déterminer qui doit vivre et qui ne doit pas vivre. Cette accélération est le produit de résonances entre des conditions externes telles que l'austérité et la pandémie, la nature des mouvements d'extrême droite ré-émergents et le caractère des opérations que l'IA applique à une large échelle. Il s'agit là d'évolutions qui devraient susciter un refus et une résistance immédiate. Une opposition réussie sera fondée sur des principes radicalement différents, mais aussi puissants que les idéologies de hiérarchie et d'exclusion qui dominent nos cadres épistémologiques. Comme le montre si clairement l'IA elle-même, la façon dont nous parvenons à connaître les choses détermine la façon dont nous agissons. Dans le chapitre suivant, nous proposerons une autre façon de connaître, basée sur la relationnalité et l'attention mutuelle, qui servira de base pour développer, dans les derniers chapitres, nos propositions pour une approche antifasciste de l'Intelligence Artificielle.

Publication originale (15/07/2022) :
Resisting AI, An Anti-fascist Approach to Artificial Intelligence
(Bristol University Press)

· Cet article fait partie de notre dossier Eugénisme pandémique du 12 avril 2023 ·

Références

Allen, G.E. (2001) ‘Is a New Eugenics Afoot?’, Science, 294(5540), pp 59–61. doi:10.1126/science.1066325.

Benjamin, R. (2019) Race After Technology: Abolitionist Tools for the New Jim Code. 1st edition. Medford, MA: Polity.

Beuret, N. (2017) ‘Review: Isabelle Stengers, “In Catastrophic Times: Resisting the Coming Barbarism”’, Theory, Culture & Society. Available at: https://www.theoryculturesociety.org/blog/review-isabelle-stengers-in-catastrophic-times-resisting-the-coming-barbarism (Accessed: 25 December 2020).

Black, E. (2012) IBM and the Holocaust: The Strategic Alliance Between Nazi Germany and America’s Most Powerful Corporation. Expanded edition. Washington, DC: Dialog Press.

Cave, S. (2020) ‘The Problem with Intelligence: Its Value-Laden History and the Future of AI’, in Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society. New York, NY: Association for Computing Machinery (AIES ’20), pp 29–35. doi:10.1145/3375627.3375813.

Clayton, A. (2020) ‘How Eugenics Shaped Statistics’, Nautilus, 28 October. Available at: http://nautil.us/issue/92/frontiers/how-eugenics-shaped-statistics (Accessed: 24 October 2021).

Cummings, D. (2014) ‘ “Standin” by the Window, Where the Light Is Strong’: De-extinction, Machine Intelligence, the Search for Extra-Solar Life, Autonomous Drone Swarms Bombing Parliament, Genetics & IQ, Science & Politics, and Much More @ SciFoo 2014’, Dominic Cummings’s Blog, 19 August. Available at: https://dominiccummings.com/2014/08/19/standin-by-the-window-where-the-light-is-strong-de-extinction-machine-intelligence-the-search-for-extra-solar-life-neural-networks-autonomous-drone-swarms-bombing-parliament-genetics-amp/ (Accessed: 18 December 2020).

Dobbe, R. and Whittaker, M. (2019) ‘AI and Climate Change: How They’re Connected, and What We Can Do About It’, AI Now, 17 October. Available at: https://medium.com/@AINowInstitute/ai-and-climate-change-how-theyre-connected-and-what-we-can-do-about-it-6aa8d0f5b32c (Accessed: 16 August 2021).

Driggs, D., Selby, I., Roberts, M., Gkrania-Klotsas, E., Rudd, J., Yang, G., et al (2021) ‘Machine Learning for COVID-19 Diagnosis and Prognostication: Lessons for Amplifying the Signal While Reducing the Noise’, Radiology: Artificial Intelligence, 3(4), p e210011. doi:10.1148/ryai.2021210011.

Gilmore, R.W. (2006) Golden Gulag: Prisons, Surplus, Crisis, and Opposition in Globalizing California: 21. Berkeley, CA: University of California Press.

Golumbia, D. (2019) ‘The Great White Robot God’, Medium, 1 February. Available at: https://davidgolumbia.medium.com/the-great-white-robot-god-bea8e23943da (Accessed: 6 December 2020).

Gould, S.J. (1996) The Mismeasure of Man. Revised and Expanded edition. New York, NY: W.W. Norton & Company.

Grant, M. (1921) The Passing of the Great Race. 4th edition. New York, NY: C. Scribner’s sons, p 167. Available at: http://www.archive.org/stream/passingofgreatra00granuoft/passingofgreatra00granuoft_djvu.txt (Accessed 21 April 2021).

Haider, S. (2017) ‘The Darkness at the End of the Tunnel: Artificial Intelligence and Neoreaction’, Viewpoint Magazine, 28 March. Available at: https://www.viewpointmag.com/2017/03/28/the-darkness-at-the-end-of-the-tunnel-artificial-intelligence-and-neoreaction/ (Accessed: 23 December 2019).

Harper, D. and Graham, J. (nd) ‘I Don’t Speak German: 82: Scott Alexander & Slate Star Codex, with David Gerard and Elizabeth Sandifer’. Available at: https://idontspeakgerman.libsyn.com/82-scott-alexander-slate-star-codex-with-david-gerard-and-elizabeth-sandifer (Accessed: 3 August 2021).

Heaven, W.D. (2021) ‘Hundreds of AI Tools Have Been Built to Catch Covid. None of Them Helped’, MIT Technology Review. Available at: https://www.technologyreview.com/2021/07/30/1030329/machine-learning-ai-failed-covid-hospital-diagnosis-pandemic/ (Accessed: 17 October 2021).

Herf, J. (1986) Reactionary Modernism: Technology, Culture, and Politics in Weimar and the Third Reich. Cambridge, UK: Cambridge University Press.

Johnson, L. (2013) ‘Jason Richwine Resigns From Heritage Foundation After Dissertation Controversy’, HuffPost UK, 10 May. Available at: https://www.huffpost.com/entry/jason-richwine-resigns-heritage-foundation_n_3254927 (Accessed: 18 December 2020).

Land, N. (2012) ‘The Dark Enlightenment’, 2 March. Available at: https://www.thedarkenlightenment.com/the-dark-enlightenment-by-nick-land/ (Accessed: 18 December 2020).

Lee, J.J., Wedow, R., Okbay, A., Kong, E., Maghzian, O., Zacher, M., et al (2018) ‘Gene Discovery and Polygenic Prediction From a Genome-Wide Association Study of Educational Attainment in 1.1 million Individuals’, Nature Genetics, 50(8), pp 1112–2 1. doi:10.1038/s 41588-018-0147-3.

MacDougald, P. (2015) ‘The Darkness Before the Right’, The Awl, 28 September. Available at: https://www.theawl.com/2015/09/the-darkness-before-the-right/ (Accessed: 18 April 2020).

Malm, A. and The Zetkin Collective (2021) White Skin, Black Fuel: On the Danger of Fossil Fascism. London, UK; New York, NY: Verso.

Matthews, D. (2016) ‘The Alt-Right Is More Than Warmed Over White Supremacy. It’s That, but Way Way Weirder’, Vox, 18 Apr il. Available at: https://www.vox.com/2016/4/18/11434098/alt-right-explained (Accessed: 18 December 2020).

Mbembe, A. and Corcoran, S. (2019) Necropolitics. Durham, NC: Duke University Press.

Mbembé, J.-A. and Meintjes, L. (2003) ‘Necropolitics’, Public Culture, 15(1), pp 11–40. doi:10.1215/08992363-15-1-11.

Metz, C. (2021) ‘Silicon Valley’s Safe Space’, The New York Times, 13 February. Available at: https://www.nytimes.com/2021/02/13/technology/slate-star-codex-rationalists.html (Accessed: 24 April 2021).

Moldbug, M. (2007) ‘Against Political Freedom’, Unqualified Reservations, 16 August. Available at: https://www.unqualified-reservations.org/2007/08/against-political-freedom/ (Accessed: 23 January 2021).

Moore, S. and Roberts, A. (2021) ‘The Threat of Ecofascism’, The Ecologist, 25 June. Available at: https://theecologist.org/2021/jun/25/threat-ecofascism (Accessed: 18 August 2021).

O’Brien, L. (2020) ‘Far-Right Extremists Helped Create The World’s Most Powerful Facial Recognition Technology’, HuffPost UK, 9 April. Available at: https://www.huffpost.com/entry/clearview-ai-facial-recognition-alt-right_n_5e7d028bc5b6cb08a92a5c48 (Accessed: 25 April 2021).

Office for National Statistics (2020a) ‘Coronavirus (COVID-19) Related Deaths by Disability Status, England and Wales: 2 March to 15 May 2020’. Available at: https://www.ons.gov.uk/peoplepopulationandcommunity/birthsdeathsandmarriages/deaths/articles/coronaviruscovid19relateddeathsbydisabilitystatusenglandandwales/2marchto15may2020 (Accessed: 23 January 2021).

Office for National Statistics (2020b) ‘Updating Ethnic Contrasts in Deaths Involving the Coronavirus (COVID-19), England and Wales: Deaths Occurring 2 March to 28 July 2020’. Available at: https://www.ons.gov.uk/peoplepopulationandcommunity/birthsdeathsandmarriages/deaths/articles/updatingethniccontrastsindeathsinvolvingthecoronaviruscovid19englandandwales/deathsoccurring2marchto28july2020 (Accessed: 23 January 2021).

OpenAI (2018b) ‘OpenAI Charter’, OpenAI. Available at: https://openai.com/charter/ (Accessed: 6 December 2020).

Paxton, R.O. (2005) The Anatomy of Fascism. London, UK: Penguin.

Peterson, J.B. (2018) 12 Rules for Life: An Antidote to Chaos. Reprint edition. London, UK: Allen Lane.

Quarmby, K. (2020) ‘Under Pressure: Disabled People Mobilise to Defend Their Human Rights’, Liberty Investigates. Available at: https://libertyinvestigates.org.uk/articles/under-pressure-disabled-people-mobilise-to-defend-their-human-rights/ (Accessed: 15 December 2020).

Rawlinson, K. and Adams, R. (2018) ‘UCL to Investigate Eugenics Conference Secretly Held on Campus’, The Guardian, 11 January. Available at: http://www.theguardian.com/education/2018/jan/10/ucl-to-investigate-secret-eugenics-conference-held-on-campus (Accessed: 17 June 2021).

Saini, A. (2019) Superior: The Return of Race Science. 1st edition. Boston, MA: Beacon Press.

Schmitt, C. (1988) Crisis of Parliamentary Democracy. Later Printing Used edition. Translated by E. Kennedy. Cambridge, MA: The MIT Press.

Smith, R.E. (2019) Rage Inside the Machine: The Prejudice of Algorithms, and How to Stop the Internet Making Bigots of Us All. New York, NY: Bloomsbury Business.

Spade, D. (2015) Normal Life: Administrative Violence, Critical Trans Politics, and the Limits of Law. Durham, NC; London, UK: Duke University Press.

Tidball, M. (2020) ‘An Affront to Dignity, Inclusion and Equality: Coronavirus and the Impact of Law, Policy, Practice and Access to Services on People with Disabilities in the United Kingdom’, Oxford University Disability Law & Policy Project, 2 July. Available at: https://www.law.ox.ac.uk/news/2020-07-02-affront-dignity-inclusion-and-equality-coronavirus-and-impact-law-policy-practice (Accessed: 15 December 2020).

Tilley, L. (2018) ‘Populist Academics, Colonial Demography, and Far-Right Discursive Ecologies’, Discover Society, 4 December. Available at: https://archive.discoversociety.org/2018/12/04/populist-academics-colonial-demography-and-far-right-discursive-ecologies/ (Accessed: 8 January 2021).

Tilley, L. (2020) ‘Saying the Quiet Part Out Loud: Eugenics and the “Aging Population” in Conservative Pandemic Governance’, Discover Society, 6 April. Available at: https://discoversociety.org/2020/04/06/saying-the-quiet-part-out-loud-eugenics-and-the-aging-population-in-conservative-pandemic-governance/ (Accessed: 8 January 2021).

Watkins, J., Wulaningsih, W., Da Zhou, C., Marshall, D.C., Sylianteng G.D.C., Dela Rosa, P.G., et al (2017) ‘Effects of Health and Social Care Spending Constraints on Mortality in England: A Time Trend Analysis’, BMJ Open, 7(11), p e017722. doi:10.1136/bmjopen-2017-017722.

Wynants, L., Van Calster, B., Collins, G.S., Riley R.D., Heinze, G., Schuit, E., et al (2020) ‘Prediction Models for Diagnosis and Prognosis of Covid-19: Systematic Review and Critical Appraisal’, BMJ, 369, p m1328. doi:10.1136/bmj.m1328.