Skip to main content
logo
Lancer la vidéo

L’art de ne pas changer le monde

Numéro 8 - 2016 par Antoinette Rouvroy

décembre 2016

Les algo­rithmes sont amné­siques des cir­cons­tances et condi­tions de pro­duc­tion des don­nées dont ils sont nour­ris, et indif­fé­rents aux manières dont les per­sonnes peuvent se repré­sen­ter et rendre compte d’elles-mêmes. Leur pré­ten­due objec­ti­vi­té court-cir­cuite la culture, le lan­gage et le désir. Uti­li­sés par les pou­voirs publics ou pri­vés, ils vident de leur sens le débat, la déci­sion, la res­pon­sa­bi­li­té, la justice.

Dossier

« La vie, c’est l’excès per­ma­nent de la vie. La vie – ce qui ne peut jamais être orga­ni­sé jusqu’au bout : la désor­ga­ni­sa­tion de la vie. » Boyan Man­chev, La méta­mor­phose et l’instant. Désor­ga­ni­sa­tion de la vie, La Pho­cide, 2009.

La Revue nou­velle : Quelles sont les raci­nes de vos tra­vaux sur la gou­ver­ne­men­ta­li­té algorithmique ?

Antoi­nette Rou­vroy : Après m’être d’abord inté­res­sée au poten­tiel « pré­dic­tif » des tests géné­tiques et à leurs impli­ca­tions en termes d’égalité d’opportunités sur les mar­chés de l’emploi et de l’assurance ain­si que dans les débats rela­tifs à l’État pro­vi­dence aux États-Unis et en Europe1, j’ai com­men­cé à m’intéresser aux impli­ca­tions juri­diques, poli­tiques et phi­lo­so­phiques des nou­velles pra­tiques sta­tis­tiques nour­ries par les don­nées numé­riques dis­po­nibles en quan­ti­tés mas­sives. Fon­dées sur les tech­niques du numé­rique, ces pra­tiques de détec­tion, de clas­si­fi­ca­tion et d’évaluation anti­ci­pa­tive des pro­pen­sions et com­por­te­ments humains consti­tuent de nou­veaux modes de pro­duc­tion du savoir, de nou­velles moda­li­tés d’exercice du pou­voir, et de nou­veaux modes de sub­jec­ti­va­tion. Bref, une nou­velle gou­ver­ne­men­ta­li­té algo­rith­mique, se pré­sen­tant comme une évo­lu­tion des formes de gou­ver­ne­men­ta­li­té déjà étu­diées par Michel Fou­cault précédemment.

Des normes indétectables et indiscutables

Cette gou­ver­ne­men­ta­li­té algo­rith­mique se démarque des pré­cé­dentes par le fait d’être nour­rie essen­tiel­le­ment de don­nées brutes en elles-mêmes asi­gni­fiantes, cette absence de signi­fi­ca­tion étant d’ailleurs per­çue comme un gage d’objectivité. Elle a aus­si la par­ti­cu­la­ri­té d’affecter par avance les com­por­te­ments pos­sibles sur le mode de l’alerte sus­ci­tant de la réponse-réflexe à un stade pré­cons­cient, plu­tôt que par des méca­nismes visant à réfor­mer les psy­chismes indi­vi­duels, ou fai­sant appel aux capa­ci­tés d’entendement et de volon­té des per­sonnes. Cette gou­ver­ne­men­ta­li­té n’a plus pour cible l’étranger, la peste, la mala­die men­tale, la lèpre (comme la bio­po­li­tique décrite par Fou­cault), mais l’incertitude comme telle, ou l’excès du pos­sible sur le pro­bable. La pré­emp­tion, qui est le mode opé­ra­toire de la gou­ver­ne­men­ta­li­té algo­rith­mique, consiste à faire en sorte que cer­taines choses, qui ne sont que pos­sibles, se pro­duisent à coup sûr ou ne puissent en aucun cas se pro­duire. Cette pré­emp­tion dis­pense à la fois de la déso­béis­sance, du juge­ment et de la sanc­tion, tout en ren­dant les normes à la fois indé­tec­tables et indiscutables.

On a beau­coup dit et lu que l’une des prin­ci­pales menaces éma­nant de l’internet est la mise à mal du droit à la pro­tec­tion des don­nées per­son­nelles. Mais il m’a sem­blé que ce n’est pas là que se trouve le nœud. J’ai vou­lu dépla­cer l’attention sur des enjeux plus col­lec­tifs, moins indi­vi­dua­listes et ten­ter de voir en quoi les algo­rithmes changent les dyna­miques de la norme et de l’obéissance. En quoi, bien qu’apparemment plus objec­tifs, ils risquent de nous éloi­gner dra­ma­ti­que­ment du pro­jet d’une socié­té plus juste en ren­for­çant, tout en les ren­dant plus invi­sibles et moins faciles à com­battre, les inéga­li­tés socioé­co­no­miques et les nor­ma­ti­vi­tés sociales dominantes.

RN : On dit sou­vent que, à l’époque des big data, les algo­rithmes changent le monde. En quoi ?

AR : Ils ne changent pas du tout le monde, cette idée relève de la pen­sée magique ou de l’animisme infor­ma­tique ! Ils changent la manière dont nous nous repré­sen­tons le monde. Ou plu­tôt, ils sub­sti­tuent à nos repré­sen­ta­tions une idéo­lo­gie tech­nique d’immanence totale extrê­me­ment sédui­sante. Ils font ain­si mine de nous dis­pen­ser de nous repré­sen­ter le monde, d’évaluer et de débattre de nos repré­sen­ta­tions du monde. À tra­vers les big data et grâce aux algo­rithmes capables de les faire « par­ler », on aurait enfin un accès immé­diat, hors lan­gage, non idéo­lo­gique, au réel lui-même, sans qu’il soit encore néces­saire de rien inter­pré­ter ni repré­sen­ter ni théo­ri­ser. Il nous serait enfin pos­sible, à nous humains, d’accéder au réel « direc­te­ment » et donc de manière tota­le­ment « objec­tive », exhaus­tive, atem­po­relle, sans plus en pas­ser par aucune repré­sen­ta­tion, d’une manière éman­ci­pée du lan­gage lui-même. Les big data et les algo­rithmes encou­ragent le fan­tasme d’une modé­li­sa­tion anti­ci­pa­tive auto­ma­tique et en temps réel du social. Le réel se gou­ver­ne­rait ain­si lui-même à tra­vers des pro­fils (de ter­ro­riste poten­tiel, de frau­deur poten­tiel, d’acheteur poten­tiel, d’employé idéal poten­tiel…) qu’il pro­dui­rait à même le social numé­ri­sé. Ce gou­ver­ne­ment des algo­rithmes, in fine, dis­pen­se­rait de l’État, des ins­ti­tu­tions, de toute notion d’autorité ou de pouvoir…

Refermer l’existant sur lui-même

Or, les don­nées — certes dis­po­nibles en quan­ti­tés mas­sives, mais pas dis­po­nibles à tout le monde de la même manière — ne sont jamais « don­nées », elles ne sont, au mieux, que des trans­crip­tions pas­sives des faits, eux-mêmes tri­bu­taires des nor­ma­ti­vi­tés sociales ou des rap­ports de force ou de domi­na­tion en vigueur. Déci­der en fonc­tion des don­nées, c’est pré­tendre déci­der objec­ti­ve­ment, en fonc­tion des faits, ce qui n’équivaudra jamais à gou­ver­ner en fonc­tion de la jus­tice qui, elle, demande que l’on prenne en compte les condi­tions des faits, et lorsque ces condi­tions sont injustes, qu’on les change. Les big data, parce qu’ils sont le plus sou­vent ano­ny­mi­sés, dés­in­dexés, décon­tex­tua­li­sés, sont abso­lu­ment amné­siques des condi­tions de leur production.

Juste un exemple : si dans les faits la plu­part des emplois for­te­ment rému­né­ra­teurs sont occu­pés par des hommes, les algo­rithmes de recom­man­da­tion nour­ris de ces don­nées-là, uti­li­sés à des fins d’objectivation des déci­sions d’embauche ou de pro­mo­tion, réper­cu­te­ront pas­si­ve­ment comme autant de don­nées « objec­tives » ce qui n’est en fait que le résul­tat de pré­ju­gés défa­vo­rables aux femmes. Ils pro­dui­ront des « pro­fils de per­for­mance » favo­rables aux hommes au détri­ment des can­di­dates fémi­nines. La soi-disant opti­mi­sa­tion des déci­sions par le recours à la soi-disant intel­li­gence des don­nées, c’est le contraire de l’émancipation, c’est le contraire d’un chan­ge­ment de monde. L’ignorance des causes des phé­no­mènes au pro­fit de la pure induc­tion sta­tis­tique nous condamne au conser­va­tisme en ren­dant invi­sibles et incon­tes­tables les pré­ju­gés et les biais dont est par­cou­rue notre réa­li­té sociale.

Les algo­rithmes ne « gou­vernent » pas. Ils sont pro­gram­més, mais n’ont pas de pro­gramme poli­tique, ne font pas de pro­jet, ne font pas de choix : ils opti­misent l’état de fait.

RN : Pour­quoi, à un moment don­né, cédons-nous le gou­ver­nail à ces algo­rithmes pour dic­ter telle ou telle déci­sion poli­tique ou managériale ?

AR : Cet engoue­ment pour la gou­ver­ne­men­ta­li­té algo­rith­mique, cette confiance dans l’«intelligence des don­nées » sont symp­to­ma­tiques, avant tout, d’une crise de la repré­sen­ta­tion sous toutes ses formes : nous nous défions de toutes nos repré­sen­ta­tions de la réa­li­té, qui semblent tou­jours trop sub­jec­tives, sélec­tives, biai­sées, idéo­lo­gi­que­ment mar­quées, poli­ti­que­ment incor­rectes. À vrai dire, comme l’exprimait très bien le peintre Luc Thuy­mans, «[T]hese days the notion of the “real” rules eve­ry­thing — not rea­lis­tic but “real”.2 » Ce n’est plus la simple objec­ti­vi­té ou le seul réa­lisme de la repré­sen­ta­tion du monde sous sa forme numé­rique qui séduisent, mais bien plus radi­ca­le­ment le rem­pla­ce­ment du monde phy­sique, idéa­le­ment sans reste — ce qui n’est pas numé­ri­sé n’existe pas. Le monde numé­rique est pris pour la réa­li­té. La pré­ten­due exhaus­ti­vi­té (exhaus­ti­vi­ty, en anglais, signi­fie aus­si l’épuisement) des big data est une occa­sion inouïe de « tota­li­sa­tion », c’est-à-dire de clô­ture de la ratio­na­li­té pure­ment quan­ti­ta­tive sur elle-même. Ce qui est cal­cu­lable est immu­ni­sé contre la part irré­duc­tible d’incertitude radi­cale inhé­rente à la vie même. Cette « tota­li­sa­tion » numé­rique, en par­ti­cu­lier les modé­li­sa­tions de l’advenir qu’elle rend pos­sibles, pro­met aux socié­tés de se dis­pen­ser de toutes les conven­tions, ins­ti­tu­tions, fic­tions, pré­somp­tions et pro­jets par les­quels elles se sont jusqu’ici tenues ensemble pour faire face à l’imprévisible et à l’incertain, à l’inadéquation, en somme, de leurs repré­sen­ta­tions du monde.

Une nouvelle fabrique des individus

Chaque socié­té et chaque époque ont leurs modes pri­vi­lé­giés de ges­tion de l’incertitude (qui sont aus­si des modes de créa­tion de lien social — de consis­tance sociale, même, pour­rait-on dire): dans la « socié­té actua­rielle » ou « assu­ran­cielle » que l’État pro­vi­dence se donne comme repré­sen­ta­tion, la charge de l’aléa, du sort aveugle, de l’excès du pos­sible sur le pro­bable, était répar­tie entre les membres de col­lec­ti­vi­tés d’assurés, ou même prise en charge col­lec­ti­ve­ment par l’État. La ratio­na­li­té algo­rith­mique signe l’avènement d’une socié­té dans laquelle la notion même de risque dis­pa­rait en même temps que la tolé­rance à l’idée qu’existe une part tra­gique, incom­pres­sible, d’incertitude radi­cale : grâce aux big data, il devien­drait pos­sible d’assigner à cha­cun, indi­vi­duel­le­ment, par avance son « cout réel ». Les indi­vi­dus sont mis en concur­rence à l’échelle qua­si molé­cu­laire de la don­née numé­rique infrapersonnelle.

Ce tour­nant algo­rith­mique, on le voit, sous pré­texte d’objectiver les pro­ces­sus déci­sion­nels, ne se pose pas en rup­ture par rap­port aux poli­tiques néo­li­bé­rales, mais offre à ces der­nières des outils par­ti­cu­liè­re­ment dis­crets et puissants.

Mais ce sont des machines, et non des hommes, qui ana­lysent les don­nées qui ont l’air d’émaner spon­ta­né­ment du réel lui-même. Or ce n’est pas parce que les don­nées numé­riques ont l’air de pro­li­fé­rer spon­ta­né­ment qu’elles rendent compte avec jus­tesse du monde dont elles émanent, et ce, pour trois rai­sons au moins.

Pre­miè­re­ment, tout n’étant pas numé­ri­sable, une part très impor­tante du monde n’est pas prise en compte. Amné­sique de tout ce qui — des rêves, des pro­jets, des pos­si­bi­li­tés pas­sées — n’a pas trou­vé à s’actualiser dans un « pré­sent », la « réa­li­té » algo­rith­mique est une réa­li­té expur­gée de la contin­gence (du fait que l’état de fait numé­ri­que­ment enre­gis­tré aurait pu être tout autre). Le sens de la contin­gence et les pos­si­bi­li­tés du pas­sé sont des res­sources pré­cieuses pour les alter­na­tives de demain, mais elles res­tent étran­gères à la ratio­na­li­té algo­rith­mique parce qu’elles n’ont pas lais­sé de traces numé­ri­sées, si ce n’est dans cer­taines œuvres d’art.

Deuxiè­me­ment, les cap­teurs étant inéga­le­ment dis­tri­bués dans l’espace, les don­nées ne reflètent le monde que du point de vue com­bi­né de ces cap­teurs, et les algo­rithmes, quoi qu’on en dise, sont sou­vent3 para­mé­trés par des humains, qui fixent, par exemple, le seuil à par­tir duquel une cor­ré­la­tion entre des don­nées est suf­fi­sam­ment forte pour qu’elle contri­bue à la construc­tion d’un pro­fil (ou le seuil de tolé­rance aux « faux posi­tifs » ou aux « faux néga­tifs »). Les algo­rithmes ne nous éman­cipent pas du point de vue, mais rendent ce point de vue indé­tec­table, non loca­li­sable. La visua­li­sa­tion algo­rith­mique est située, mais on ne sait pas où, on ne sait pas d’où elle nous perçoit.

Enfin, les don­nées brutes sont ren­dues amné­siques des condi­tions de leur pro­duc­tion à force d’anonymisation, de dés­in­dexa­tion, de décon­tex­tua­li­sa­tion… Bref, on nous parle de data-dri­ven poli­cy, de poli­tique fon­dée sur les don­nées (plu­tôt que sur… la poli­tique, les normes sociales, le droit), mais on ques­tionne rare­ment la don­née en elle-même. On pos­tule sa neu­tra­li­té, son exhaus­ti­vi­té, et cela a l’air encore plus neutre quand on parle de don­nées brutes.

RN : Cette pré­ten­due objec­ti­vi­té des don­nées, com­ment se démonte-t-elle ?

AR : En s’intéressant concrè­te­ment aux manières sui­vant les­quelles les don­nées sont pro­duites, récol­tées, sto­ckées, ana­ly­sées, on ne peut que se rendre à l’évidence : les don­nées numé­riques ne sont pas le monde, elles ne le repré­sentent pas non plus, elles sont des miroi­te­ments par­tiels, décon­tex­tua­li­sés, d’existences quo­ti­diennes, de tra­jec­toires, d’évènements. Des algo­rithmes les agrègent à l’échelle indus­trielle, pour pro­duire des « modèles de com­por­te­ment », qui soient « opé­ra­tion­nels ». La ques­tion de leur véri­té ou de leur faus­se­té ne se pose même pas : ces modèles doivent être utiles afin d’optimiser (et d’accélérer) les déci­sions en matière de mar­ke­ting, de sécu­ri­té, d’attributions de cré­dit, etc. On entend sou­vent que les algo­rithmes doivent être trans­pa­rents, qu’ils doivent faire connaitre leur logique de trai­te­ment des don­nées. Mais ce sont d’abord les don­nées elles-mêmes qui sont pro­blé­ma­tiques, et tant qu’on croit que les don­nées sont le réel dans sa tota­li­té, on s’empêche de se confron­ter au monde.

Un autre exemple très connu : la ville de Bos­ton uti­lise l’application Street Bump. Les don­nées GPS des citoyens qui la détiennent sur leur smart­phone peuvent aider à détec­ter quand ils évitent un trou dans la rue. Si plu­sieurs per­sonnes font un écart, on envoie un répa­ra­teur. Le pro­blème est que les habi­tants des quar­tiers pauvres ont moins de smart­phones que ceux des quar­tiers riches. Leurs rues sont donc moins réparées.

Je n’insisterai jamais assez : l’abandon du sou­ci de la cau­sa­li­té au pro­fit de la pure induc­tion sta­tis­tique, c’est aus­si l’abandon de toute ambi­tion de pré­ven­tion ou de cor­rec­tion des inéga­li­tés sociales impli­quées dans les dif­fé­rences en termes de qua­li­té de vie, de per­for­mance éco­no­mique, d’intégration sociale…

Regard inversé

RN : Selon vous, les algo­rithmes engendrent la dis­pa­ri­tion du sujet. Que vou­lez-vous dire par là ?

AR : Le pro­fi­lage algo­rith­mique, et les appli­ca­tions fon­dées sur ce pro­fi­lage pour per­son­na­li­ser les inter­ac­tions admi­nis­tra­tives, com­mer­ciales, sécu­ri­taires, assu­ran­cielles, récréa­tives, etc., semblent pla­cer l’individu au centre de toutes les pré­oc­cu­pa­tions, adap­ter pour lui son envi­ron­ne­ment infor­ma­tion­nel et phy­sique sans que jamais ce der­nier n’ait ni le besoin ni l’occasion de for­mu­ler ou d’énoncer pour lui-même ou pour autrui ses pré­fé­rences, choix, inten­tions, et sans qu’il lui soit encore pos­sible, bien sou­vent, d’en rendre compte par lui-même. Cette sol­li­ci­tude pré­sup­pose une « trans­pa­rence » psy­chique de la per­sonne, qui rap­pelle et réha­bi­lite une forme de com­por­te­men­ta­lisme numé­rique. La per­sonne ne peut plus oppo­ser à l’observateur aucun masque social, ce que l’on appe­lait une per­so­na. Elle se trouve expo­sée à un « regard » algo­rith­mique. Mais ce regard « objec­tif », qui se pré­sente comme débar­ras­sé de tout « dis­cours » et de tout point de vue, n’est pas un phé­no­mène abso­lu­ment neuf, il rap­pelle les des­crip­tions qu’a don­nées Michel Fou­cault de l’expérience cli­nique depuis le XVIIIe siècle4.

Plus récem­ment, la fas­ci­na­tion pour les déter­mi­nants géné­tiques des pro­ces­sus bio­lo­giques opé­rait un nou­veau par­tage du visible et du dicible. La célèbre for­mule de Fran­çois Jacob en fait un résu­mé très clair : « On n’interroge plus la vie aujourd’hui dans les labo­ra­toires. On ne cherche plus à en cer­ner les contours. […] C’est aux algo­rithmes du monde vivant que s’intéresse aujourd’hui la bio­lo­gie5 ». Avec la géné­tique, l’épistémé visuel, de sur­face (la cou­leur, l’aspect, la tex­ture des tis­sus) se trouve com­plé­tée ou rem­pla­cée par une épis­té­mé non visuelle, de pro­fon­deurs : on s’intéresse au géno­type tout autant, sinon plus, qu’au phénotype.

Enfin, avec l’avènement des big data, ces deux mou­ve­ments du visible et du dicible se radi­ca­lisent et le phé­no­mène acquiert tout sim­ple­ment une por­tée beau­coup plus géné­rale : l’expérience sub­jec­tive tout comme la maté­ria­li­té du corps ne comptent plus, ne sont por­teurs d’aucun savoir ni d’aucune véri­té cré­dible, n’ont plus rien à racon­ter. Les big data, ce sont ce lan­gage des choses, des élé­ments infimes, infra-per­son­nels, pure­ment rela­tion­nels (les don­nées ne « rap­portent » que les rela­tions que la per­sonne a [eues] avec d’autres per­sonnes, avec des objets de son envi­ron­ne­ment, avec des lieux…), qui (dé)composent la vie, mais sont insuf­fi­sants cepen­dant à attes­ter de ses formes.

Au fond, la cible ou le « pro­jet » de la gou­ver­ne­men­ta­li­té algo­rith­mique — dans la mesure où elle est aujourd’hui qua­si exclu­si­ve­ment mise au ser­vice d’impératifs d’optimisation et de pré­emp­tion plu­tôt qu’au ser­vice d’une ouver­ture du temps —, ce n’est pas ou plus la pré­ser­va­tion, l’intensification de la vie, mais la neu­tra­li­sa­tion de tout ce qui, de la vie, est irré­duc­tible au cal­cul : l’excès du pos­sible sur le pro­bable, l’intempestivité, la pos­si­bi­li­té tou­jours pré­sente d’une bifur­ca­tion, par exemple, le fait, comme l’écrivait Spi­no­za, qu’on ne sait jamais de quoi un corps est capable.

Cela pro­duit des consé­quences sur les pro­ces­sus de sub­jec­ti­va­tion. L’anticipation, ou plu­tôt la pré­emp­tion des com­por­te­ments indi­vi­duels, au stade si pos­sible pré­cons­cient, fait en sorte que les indi­vi­dus n’aient plus même à for­ger ni à for­mu­ler leurs dési­rs. Leurs dési­rs les pré­cé­dent. La trans­po­si­tion des pul­sions en dési­rs est court-cir­cui­tée en temps réel par les dis­po­si­tifs infor­ma­tiques qui réagis­saient sur le mode du réflexe aux signaux émis (de façon non inten­tion­nelle le plus sou­vent) par ceux que l’on appelle les « uti­li­sa­teurs ». Or, un sujet, c’est un pro­ces­sus conti­nu de « sub­jec­ti­va­tion » : on ne fait jamais que deve­nir sujet, notam­ment en énon­çant pour soi-même et pour autrui nos moti­va­tions, nos inten­tions, etc. Bien sûr ces moti­va­tions, ces inten­tions, etc., ne s’incarneront pas tou­jours dans nos actes. Mais c’est pré­ci­sé­ment cette capa­ci­té de ne pas faire tout ce dont nous sommes capables qui consti­tue notre puis­sance de sujet. De même, la capa­ci­té que nous avons, nous, êtres humains, à la dif­fé­rence des ani­maux, de « répondre », de men­tir, de pré­tendre, d’effacer nos traces6, se trouve radi­ca­le­ment mise à mal dans l’exploitation sys­té­ma­tique et auto­ma­tique de nos moindres phé­ro­mones numé­riques — une occa­sion, peut-être, de faire enfin cause com­mune avec les animaux !

La notion de res­pon­sa­bi­li­té (de devoir, de répondre, de moti­ver, de jus­ti­fier) dis­pa­rait elle aus­si, tant pour les gou­ver­nants que pour les gou­ver­nés : si l’on se base sur une recom­man­da­tion auto­ma­ti­sée pour prendre une déci­sion à l’encontre ou en faveur d’un indi­vi­du, alors, on ne prend pas de déci­sion, on ne fait qu’obéir à un cal­cul. Prendre une déci­sion, c’est prendre un risque, déci­der sur fond d’indécidable7.

RN : Jus­te­ment, que pen­ser de l’introduction des algo­rithmes dans des sec­teurs où se posent des déci­sions aus­si sen­sibles que dans la jus­tice de l’assurance-santé ?

AR : Le fan­tasme d’un rem­pla­ce­ment des juges par des algo­rithmes n’est pas neuf, mais la numé­ri­sa­tion d’une part crois­sante de l’ensemble des textes juri­diques, de la juris­pru­dence et de la doc­trine rend de plus en plus attrac­tive cette pers­pec­tive d’un juge-robot capable en un clin d’œil d’analyser un cas par­ti­cu­lier au regard de tous les textes per­ti­nents dis­po­nibles. L’arriéré judi­ciaire ne serait plus qu’un mau­vais sou­ve­nir, l’impartialité du juge serait évi­dente aux yeux de tous, sa sagesse ne pour­rait être mise en ques­tion puisqu’elle serait une sorte de syn­thèse moyenne de la sagesse de l’ensemble des juges ayant eu à connaitre d’affaires simi­laires. Reste-t-il quelque rai­son de résis­ter à l’algorithmisation de la jus­tice ou de la déci­sion administrative ?

Corrélation n’est pas justification

La jus­tice, comme pro­ces­sus, implique la jus­ti­fi­ca­tion des déci­sions prises à l’égard des indi­vi­dus au regard de leur situa­tion sin­gu­lière. Les déci­sions prises sur la base de recom­man­da­tions auto­ma­ti­sées, quelle que soit leur appa­rente objec­ti­vi­té, satis­font dif­fi­ci­le­ment à ce cri­tère de la jus­ti­fi­ca­tion. Une déci­sion est dite juste non parce qu’elle est conforme au résul­tat d’un cal­cul, mais parce que le juge est capable d’en don­ner les rai­sons et d’y adhé­rer au regard de la situa­tion sin­gu­lière, inédite, impré­vi­sible qui se pré­sente à lui8.

Dans le domaine de l’assurance, du cré­dit hypo­thé­caire ou du cré­dit à la consom­ma­tion, les appli­ca­tions de type big data per­mettent d’évaluer les risques de non-rem­bour­se­ment propres aux indi­vi­dus en fonc­tion non plus de leur situa­tion per­son­nelle (pro­fes­sion­nelle, finan­cière, fami­liale…), mais en fonc­tion de la pro­por­tion sta­tis­tique de mau­vais payeurs rési­dant dans le même type de quar­tier, fai­sant leurs courses dans le même type de maga­sins, fré­quen­tant tel ou tel type de forum de dis­cus­sion sur inter­net, autant d’éléments à prio­ri sans lien cau­sal avec l’état de sol­va­bi­li­té actuel ou futur des indi­vi­dus, mais qui, sta­tis­ti­que­ment, sont cor­ré­lés (sans que l’on sache pour­quoi) à un taux de défauts de paie­ment supé­rieur à celui de la popu­la­tion géné­rale. La détec­tion algo­rith­mique des risques de non-rem­bour­se­ment confère au défaut de paie­ment des allures « épi­dé­miques ». On le voit une fois de plus, l’individualisation n’a rien à voir avec la prise en compte de la situa­tion sin­gu­lière des indi­vi­dus, mais avec la sub­sti­tu­tion de caté­go­ries imper­son­nelles, opaques, impli­cites, aux caté­go­ri­sa­tions expli­cites (et donc contes­tables) sus­cep­tibles de fon­der des dis­cri­mi­na­tions illé­gales (l’origine eth­nique, le genre, la foi reli­gieuse, les opi­nions poli­tiques, etc.).

La sin­gu­la­ri­té d’une vie, seule, peut en rendre compte, tou­jours impar­fai­te­ment et sou­vent après-coup, les sujets (se) ren­dant compte d’eux-mêmes, y com­pris face à la jus­tice. Les algo­rithmes sont indif­fé­rents à la per­sonne, à tout ce qui peut faire la sin­gu­la­ri­té d’une vie, et à tout ce qui la relie à des contextes col­lec­tifs socia­le­ment éprou­vés… Seul compte ce qui la relie sta­tis­ti­que­ment à des pro­fils imper­son­nels, mais pré­dic­tifs. C’est cette indif­fé­rence aux per­sonnes sin­gu­lières et aux com­mu­nau­tés qui, tout à la fois, confère aux pro­ces­sus algo­rith­miques leur aura d’impartialité et les rend, du même coup, « injustifiables ».

  1. Antoi­nette Rou­vroy, Human Genes and Neo­li­be­ral Gover­nance. A Fou­caul­dian Cri­tique, Rout­ledge-Caven­dish, 2007.
  2. Paul Thek, Luc Thuy­mans, Why?!, Gale­rie Isa­bel­la Czar­nows­ka, Dis­tanz Ver­lag, Ber­lin, 2013.
  3. L’apprentissage auto­ma­tique (machine lear­ning) per­met cepen­dant, de plus en plus, aux algo­rithmes de s’affiner « eux-mêmes », par essais et erreurs. Voir à ce sujet l’entretien avec Yves Cit­ton dans le pré­sent dossier.
  4. En cari­ca­tu­rant, on pour­rait dire qu’à tra­vers la cli­nique, les récits des patients rela­tifs à leur expé­rience, à leur pâtir, l’interprétation sub­jec­tive qu’ils pou­vaient faire de leurs symp­tômes, per­daient toute per­ti­nence expli­ca­tive ou diag­nos­tique. Ces dis­cours deve­naient eux-mêmes, au mieux, des symp­tômes devant céder devant la puis­sance de l’objectivation médi­cale. Voir Michel Fou­cault, Nais­sance de la cli­nique, PUF, coll. « Qua­drige », (1re édi­tion, 1963), 9e édi­tion, 2015.
  5. Fran­çois Jacob, La logique du vivant, une his­toire de l’hérédité, Gal­li­mard, 1970, p. 321.
  6. Jacques Der­ri­da, L’animal que donc je suis, Gal­li­lée, 2006.
  7. Jacques Der­ri­da, « Force of Law » (tr. Mary Quain­tance), Decons­truc­tion and the Pos­si­bi­li­ty of Jus­tice, Dru­cilla Cor­nell, Michael Rosen­feld and David Gray Carl­son (eds.), New York, Rout­ledge, 1992, pp. 3 – 67.
  8. C’est d’autant plus vrai dans les tra­di­tions juri­diques dites de droit civil où, à la dif­fé­rence des pays dits de com­mon law, la juris­pru­dence n’est pas une source de droit contraignante.

Antoinette Rouvroy


Auteur

docteure en droit, chercheuse au Centre de recherche information, droit et société (CRIDS) de l’université de Namur