Habillage
[C’EST POUR BIENTÔT 4/4] La Métropole de Lyon et les robots qui veulent faire maigrir les patients
Société 

[C’EST POUR BIENTÔT 4/4] La Métropole de Lyon et les robots qui veulent faire maigrir les patients

actualisé le 23/08/2019 à 10h00

Ils devaient livrer à domicile repas et médicaments à des personnes récemment opérées. Mais les robots en ont profité pour faire maigrir des patients qu’ils jugeaient en surpoids. La Métropole de Lyon estime que le procédé est discriminatoire et résilie le contrat. Le prestataire invoque, lui, un service de soins global pour dédouaner ses robots et demande réparation.

L’intelligence artificielle à la barre de procès (encore) fictifs

Ce faux procès, organisé à la cour administrative d’appel de Lyon le 24 juin 2019, n’est pas le premier à Lyon. Il poursuit un projet entamé en 2017 par la juridiction qu’elle mène avec les étudiants en droit de l’Université catholique de Lyon, encadrés par des avocats professionnels, et l’école d’ingénieur INSA Lyon dont les élèves interviennent en qualité d’experts techniques. L’objectif de ces simulations est d’anticiper des affaires qui se présenteront bientôt dans les tribunaux avec au coeur l’intelligence artificielle.

En 2018, trois procès fictifs s’étaient déjà tenus et concernaient :

« À aucun moment il n’a été demandé un service public d’amincissement ! ».

L’avocat de la Métropole de Lyon a deux arguments dans sa poche et les dégaine un à un. Le premier, le dépassement de mission. Le second, un service qui devient alors discriminatoire. La collectivité reproche aux robots de livraison de son prestataire, les « Care Assistant », de ne pas s’être cantonnés à la distribution de repas. Elle lui reproche, au fond, une fourberie : avoir profité de cette dépendance des patients pour faire maigrir ceux que les robots ont jugé en surpoids.

Nous sommes en 2032 et cela fait quatre ans que Carobotics gère le service «Total Care» pour le compte de la Métropole de Lyon. L’entreprise, grâce à ses robots dotés de la technologie «Intelligent Care», livre repas et médicaments à des patients de retour à leur domicile après une opération. Les traitements sont établis par le cops médical selon les pathologies de chacun. Mais la Métropole de Lyon se rend compte que le contenu et le rationnement des repas suivent une logique particulière.

Des repas calibrés selon la corpulence des patients

Les robots établissent les repas à partir de l’IMC (Indice de Masse Corporelle) des patients, permettant de déterminer leur corpulence. Ceux présentant un IMC supérieur à 30, sont jugés en obésité modérée  et les robots appliquent alors un rationnement des repas. Ce ne sont donc ni les pathologies ni la nature des soins qui déterminent la nature et la quantité des repas. Ainsi, pour des patients présentant les mêmes pathologies et soins post-opératoires, les repas ne sont pas les mêmes. Les robots se sont donc mis en tête de faire maigrir les personnes jugées en surpoids.

Carobotics se justifie. Elle envisage sa mission comme « un service de soin global ». Pour elle, l’obésité peut intervenir après une opération qui serait un potentiel facteur de bouleversement de l’alimentation. Il lui apparaît alors indispensable de livrer des repas adaptés aux personnes à risques ou présentant une obésité modérée avérée. Son avocat tente alors de renvoyer la pique à la Métropole :

« Nous remplissons un service public de santé, pas de beauté. »

La Métropole, elle, estime que le contrat qui les lie n’a jamais prévu une mission de cette nature. Carobotics ferait donc de la discrimination envers les personnes en surpoids. Elle s’appuie pour cela sur la Charte éthique européenne sur l’utilisation de l’intelligence artificielle qui défend le principe selon lequel la technologie doit « prévenir au renforcement de discrimination ».

Les patients étaient-ils conscients que les robots voulaient les faire maigrir ?

Mais pour l’entreprise prestataire, la situation de surpoids ou d’obésité modéré est assimilable même à une situation de handicap. Elle ne discrimine donc pas certains patients, elle les soigne. Selon un protocole établi par un médecin et approuvé par le patient. Comment ? Directement sur le robot, par une simple signature électronique.

Les critères de choix des repas par les robots de l’entreprise Caroboctics questionnent aussi le consentement des patients en pareils cas. Pour la Métropole de Lyon, il n’est pas suffisamment éclairé :

« Les patients ne sont jamais conscients que le robot est là pour leur faire perdre du poids. À aucun moment, ils n’ont émis le souhait de perdre du poids. Un robot arrive, vous demande une signature électronique, vous signez et il vous apporte un traitement. Mais le consentement est déconnecté de la procédure d’amincissement », défend son avocat.

De l’autre côté de la barre, on insiste sur la nature totalement transparente et supervisée du traitement.

« La Métropole a été informée du fonctionnement des robots et les patients sont informés du traitement qu’ils reçoivent. Et les robots sont mis à jour par les médecins. »

On lâche alors un argument d’autorité, qui ne masque cependant pas une certaine limite éthique :

« À quoi sert un robot s’il est toujours supervisé par l’homme ? »

Après tout, il faut bien laisser les robots fonctionner un peu par eux-mêmes, ils sont bien là pour assurer une partie des tâches des hommes.

Les robots finalement incapables d’assurer la continuité du service public ?

Cette affaire interroge différents enjeux liés aux machines et à l’intelligence artificielle :

  • la transparence sur les critères de choix des algorithmes des machines,
  • l’expression d’un consentement éclairé face aux choix des machines
  • la continuité du service public. Une vieille notion que les machines, pas forcément plus infaillibles que les hommes, ne parviendront peut-être pas à rendre caduque.

C’est le cas ici. Devant le constat de robots outrepassant leur mission, la Métropole a donc résilié le contrat. Le prestataire, contestant la décision, demande à ce qu’il soit rétabli et ses missions avec. Pour ce faire, il faudrait corriger les robots et leur intelligence artificielle. Pour les experts consultés, cela prendrait au moins quatre ans. La Métropole s’engouffre alors dans la brèche :

« Comment concilier ces délais avec le principe de continuité du service public ? ».

La Métropole de Lyon devra quand même payer

Cette affaire serait donc une histoire d’entreprise qui aurait trop voulu bien faire.

« En croyant bien faire, c’est une faute de la victime », sourit l’avocat de la Métropole de Lyon.

La victime, la société Carobotics, demande en outre près de 3 millions d’euros de réparation à la Métropole de Lyon au titre du préjudice financier causé par la résiliation unilatérale du contrat. Dans son jugement, le tribunal administratif donne toutefois raison à la Métropole de Lyon. Il estime, s’appuyant sur le code de la santé publique, que le rationnement des repas opéré par les robots « Care Assistant » ne peut être considéré comme un acte de soin mais « comme un accompagnement alimentaire des patients ». Non supervisé par le corps médical et non consenti par les patients, ce service réalisé par les robots constitue pour le tribunal une discrimination.

La Métropole de Lyon a donc résilié le contrat avec la société Carobotics pour un motif valable. Cette dernière devra malgré tout verser près de 900 000 euros de manque à gagner à son prestataire, au titre de la perte de bénéfice à hauteur des six ans de contrat restant.