Suite à une polémique autour de son algorithme, Twitter a publié un rapport sur les résultats de son programme de bug bounty, dédié à identifier les biais de son algorithme. Sans surprise, l’algorithme de la plateforme manque d’équité.

En octobre dernier, il avait été révélé que l’algorithme de la fonction de recadrage d’images de Twitter avait tendance à supprimer les visages noirs au profit des visages blancs. Suite à cela, la plateforme s’est excusée et a mis en place un correctif en mai 2021. Un porte-parole de l’entreprise avait alors déclaré que Twitter avait en grande partie éliminé l’algorithme défaillant de son service. En parallèle, l’entreprise a lancé un programme destiné à repérer les biais dans son algorithme. 

Dans le cadre de ce programme, des hackers éthiques de l’IA ont détecté d’autres biais dans l’algorithme. La plateforme a présenté leurs trouvailles dans un rapport, tout en déclarant : “Leurs résultats ont confirmé notre hypothèse : nous ne pouvons pas résoudre ces problèmes seuls. Notre compréhension des biais dans l’IA peut être améliorée lorsque des voix diverses peuvent contribuer à la conversation. […] Lors de la construction de système de machine learning, il est presque impossible de prévoir tous les problèmes potentiels et de garantir qu’un modèle servira tous les groupes de personnes de manière équitable. Lors de la conception de produits qui prennent des décisions automatiques, le maintien du statu quo conduit souvent à renforcer les préjugés culturels et sociaux existants.” 

La contribution gagnante de ce programme a démontré que le modèle a tendance à encoder des normes de beauté stéréotypées, préférant ainsi les visages plus jeunes, plus minces et plus féminins. Cela révèle ainsi que les biais de l’algorithme ne se limitent pas à la race et au sexe, qui sont pourtant les deux points les plus souvent évoqués. Les équipes de Twitter ont ainsi commenté : “Souvent, la conversation autour des préjugés dans le machine learning se concentre sur la race et le sexe. Pour autant, comme nous l’avons vu à travers ce défi, les préjugés peuvent prendre de nombreuses formes. Les recherches sur le machine learning “équitable” se sont historiquement concentrées sur des questions occidentales et centrées sur les États-Unis, nous avons donc été particulièrement inspirés de voir de multiples soumissions qui se concentraient sur des problèmes plus vastes encore”.

Twitter a expliqué qu’il était naturel d’obtenir ce type de biais avec un modèle formé à partir de données d’oculométrie humaine en source ouverte. La plateforme explique ainsi dans son rapport que l’objectif du programme n’était pas d’identifier des changements supplémentaires à apporter à la plateforme, mais plutôt d’élargir sa compréhension des types de préjudices et de conséquences involontaires que ce type de modèle peut potentiellement causer. Dans les faits, Twitter ne compte donc pas essayer de modifier son modèle actuel pour retirer ces biais, mais va prendre en compte ces informations dans ses futurs réflexions.