Le public ne dispose pas des outils nécessaires pour tenir les algorithmes responsables.

Les gouvernements et les entreprises privées déploient des systèmes d’IA à un rythme rapide, mais le public n’a pas les outils nécessaires pour tenir ces systèmes responsables lorsqu’ils échouent. C’est l’une des principales conclusions d’un nouveau rapport publié par AI Now, un groupe de recherche regroupant des employés d’entreprises technologiques comme Microsoft et Google et affilié à l’Université de New York.

Le rapport examine les défis sociaux de l’intelligence artificielle et des systèmes algorithmiques, en se concentrant sur ce que les chercheurs appellent  » l’écart de responsabilité « , car cette technologie est intégrée  » à travers les principaux domaines sociaux « . Ils ont formulé dix recommandations, dont une demande de réglementation gouvernementale de la reconnaissance faciale (ce que le président de Microsoft, Brad Smith, a également préconisé cette semaine) et des lois sur la  » vérité dans la publicité  » pour les produits d’IA, afin que les entreprises ne puissent pas simplement faire du commerce sur la réputation de la technologie pour vendre leurs services.

Le rapport est clair : le danger pour la justice civique est particulièrement évident lorsqu’il s’agit de l’adoption de systèmes de décision automatisés (SDA) par le gouvernement. Il s’agit notamment des algorithmes utilisés pour le calcul des peines d’emprisonnement et l’attribution de l’aide médicale. Selon les auteurs du rapport, les logiciels sont généralement introduits dans ces domaines dans le but de réduire les coûts et d’accroître l’efficacité. Mais il s’ensuit souvent que les systèmes prennent des décisions qui ne peuvent être expliquées ou faire l’objet d’un appel.

Whittaker, du Google’s Open Research Group, et Kate Crawford, co-fondatrice d’AI Now et chercheuse chez Microsoft, affirment que l’intégration de l’ADS dans les services gouvernementaux a dépassé notre capacité à vérifier ces systèmes. Mais, disent-ils, des mesures concrètes peuvent être prises pour y remédier. Il s’agit notamment d’exiger que les fournisseurs de technologie qui vendent des services au gouvernement renoncent à la protection du secret commercial, ce qui permet aux chercheurs de mieux examiner leurs algorithmes.

« Il faut être capable de dire :  » Vous avez été coupé de Medicaid, voilà pourquoi « , et vous ne pouvez pas le faire avec des systèmes de boîte noire « , dit M. Crawford. « Si nous voulons rendre des comptes au public, nous devons pouvoir vérifier cette technologie. »

Un autre domaine où une action immédiate est nécessaire, disent les deux chercheurs, est l’utilisation de la reconnaissance faciale et la reconnaissance des affects. Le premier est de plus en plus utilisé par les forces de police, en Chine, aux États-Unis et en Europe. Le logiciel Rekognition d’Amazon, par exemple, a été déployé par la police à Orlando et dans le comté de Washington, même si des tests ont montré que le logiciel peut fonctionner différemment selon les races. Dans un test où Rekognition a été utilisé pour identifier les membres du Congrès, le taux d’erreur était de 39 % pour les membres non blancs, contre seulement 5 % pour les membres blancs. Et pour ce qui est de la reconnaissance des affects, où les entreprises prétendent que la technologie peut balayer le visage de quelqu’un et lire son caractère et même son intention, les auteurs d’AI Now disent que les entreprises vendent souvent de la pseudoscience.

Traduit de :When algorithms go wrong we need more power to fight back, say AI researchers | The Verge