L'excitation de Mary Louis à emménager dans un appartement au Massachusetts au printemps 2021 s'est transformée en consternation lorsque Louis, une femme noire, a reçu un e-mail disant qu'un "service tiers" lui avait refusé la location.
Ce service tiers comprenait un algorithme conçu pour noter les candidats à la location, qui est devenu l'objet d'une class action lawsuit, avec Louis à la barre, alléguant que l'algorithme discrimait sur la base de la race et du revenu.
Un juge fédéral a approuvé un règlement dans le procès, l'un des premiers du genre, mercredi, la société derrière l'algorithme acceptant de payer plus de 2,2 millions de dollars et de retirer certaines parties de ses produits de screening que le procès alléguait discriminatoires.
Le règlement n'inclut aucun aveu de faute de la société SafeRent Solutions, qui a déclaré dans un communiqué que bien qu'elle "continue de croire que les Scores SRS sont conformes à toutes les lois applicables, la litige est long et coûteux."
Alors que de telles poursuites pourraient être relativement nouvelles, l'utilisation d'algorithmes ou de programmes d'intelligence artificielle pour filtrer ou noter les Américains ne l'est pas. Depuis des années, l'IA aide furtivement à prendre des décisions cruciales pour les résidents américains.
Quand une personne soumet une candidature à un emploi, demande un prêt immobilier ou cherche certains soins médicaux, il y a une chance qu'un système d'IA ou un algorithme les évalue comme cela a été le cas pour Louis. Cependant, ces systèmes d'IA sont largement non réglementés, même si certains ont été trouvés à discriminer.
"Les sociétés de gestion et les propriétaires doivent savoir qu'ils sont désormais avertis, que ces systèmes qu'ils supposent être fiables et bons seront remis en question," a déclaré Todd Kaplan, l'un des avocats de Louis.
Le procès alléguait que l'algorithme de SafeRent ne prenait pas en compte les avantages des bons de logement, qui, selon eux, étaient un détail important pour la capacité d'un locataire à payer le loyer mensuel, et qu'il discriminait donc les candidats à faible revenu qui étaient éligibles pour l'aide.
La plainte accusait également l'algorithme de SafeRent de trop se fier aux informations de crédit. Ils ont soutenu qu'il ne donne pas une image complète de la capacité d'un candidat à payer le loyer à temps et pénalise de manière injuste les candidats avec des bons de logement qui sont noirs et hispaniques en partie parce qu'ils ont des scores de crédit médians inférieurs, ce qui est attribuable à des inégalités historiques.
Christine Webber, l'une des avocates des plaignants, a déclaré que même si un algorithme ou une IA n'était pas programmé pour discriminer, les données qu'un algorithme utilise ou pondère pourraient avoir "le même effet que si vous lui disiez de discriminer intentionnellement."
Lorsque la candidature de Louis a été refusée, elle a tenté de faire appel de la décision, envoyant les références de deux propriétaires pour montrer qu'elle avait payé son loyer tôt ou à temps pendant 16 ans, même si elle n'avait pas un solide historique de crédit.
Louis, qui avait un bon de logement, était en difficulté, ayant déjà prévenu son précédent propriétaire qu'elle déménageait, et elle était chargée de s'occuper de sa petite-fille.
La réponse de la société de gestion, qui utilisait le service de screening de SafeRent, disait : "Nous n'acceptons pas les appels et ne pouvons pas passer outre le résultat du screening du locataire."
Louis se sentait vaincue ; l'algorithme ne la connaissait pas, a-t-elle dit.
"Tout repose sur les chiffres. Vous n'obtenez pas d'empathie individuelle de leur part, " a déclaré Louis. "Il n'y a pas moyen de battre le système. Le système nous battra toujours."
Alors que les législateurs des États ont proposé des réglementations agressives pour ce type de systèmes d'IA, les propositions n'ont pas réussi à obtenir assez de soutien. Cela signifie que des poursuites comme celle de Louis commencent à jeter les bases de la responsabilité de l'IA.
Les avocats de la défense de SafeRent ont soutenu dans une requête en rejet que la société ne devrait pas être tenue responsable de la discrimination car SafeRent ne prenait pas la décision finale d'accepter ou de refuser un locataire. Le service vérifierait les candidatures, les noterait et soumettrait un rapport, mais laisserait aux propriétaires ou aux sociétés de gestion le soin d'accepter ou de refuser un locataire.
Les avocats de Louis, ainsi que le Département de la Justice des États-Unis, qui a soumis une déclaration d'intérêt dans l'affaire, ont soutenu que l'algorithme de SafeRent pouvait être tenu pour responsable car il joue tout de même un rôle dans l'accès au logement. Le juge a rejeté la requête de SafeRent en rejet sur ces points.
Le règlement stipule que SafeRent ne peut pas inclure sa fonction de score dans ses rapports de screening de locataires dans certains cas, notamment si le demandeur utilise un bon de logement. Il exige également que si SafeRent développe un autre score de screening qu'il envisage d'utiliser, il doit être validé par un tiers agréé par les plaignants.
Le fils de Louis a trouvé un appartement abordable pour elle sur Facebook Marketplace où elle a emménagé depuis, bien qu'il soit 200 dollars plus cher et dans une zone moins désirable.
"Je ne suis pas optimiste sur le fait que je vais avoir un coup de pouce, mais je dois continuer, c'est tout," a déclaré Louis. "J'ai trop de personnes qui comptent sur moi."
Jesse Bedayn est membre du corps pour l'Associated Press/Report for America Statehouse News Initiative. Report for America est un programme de service national à but non lucratif qui place des journalistes dans des salles de rédaction locales pour couvrir des problèmes sous-couverts.
