Facebook a annoncé une nouvelle amélioration de sa technologie d’intelligence artificielle, permettant de générer des descriptions des photos publiées sur le réseau social. Cette fonctionnalité destinée aux malvoyants démontre que l’on peut exploiter l’IA pour rendre le contenu plus accessible.

Nommé texte alternatif automatique (AAT), cette fonctionnalité a été introduite pour la première fois par Facebook en 2016 avec pour objectif d’améliorer l’expérience des utilisateurs malvoyants. Jusqu’à présent, lorsque ces derniers obtenaient une description audio d’une image, ils n’entendaient que le mot « photo » ainsi que le nom de la personne l’ayant partagé. Désormais, ils pourront obtenir une description du contenu de l’image, par exemple deux personnes souriantes. 

Cette fonctionnalité vient d’être améliorée afin que l’IA puisse reconnaître un nombre de concepts plus élevé. Elle est ainsi capable de réaliser une analyse plus approfondie du contenu d’une image afin de fournir des descriptions toujours plus détaillées. Ainsi, AAT est désormais capable de détecter des points de repères, des activités, des types d’animaux et des types de nourritures. Par exemple, cette nouvelle version peut décrire une image de la façon suivante : « Un chien en train de courir devant la Tour Eiffel », ce qui était impossible auparavant.

Le nombre de concepts que la technologie peut reconnaître est ainsi passé de plus de 100 à plus de 1200. Une augmentation considérable qui a été rendue par un entraînement hebdomadaire du modèle à l’aide d’échantillons toujours plus précis et plus inclusifs sur les plans démographiques et culturels. Facebook a par ailleurs amélioré sa méthodologie en utilisant une plateforme open source développée par Facebook AI Research : « Nous avons formé les modèles à prédire les emplacements et les champs sémantiques des objets dans une image. Les techniques d’entraînement à l’utilisation de plusieurs étiquettes et ensemble de données ont permis de rendre notre modèle plus fiable, avec plus de possibilités d’étiquetage ».

Facebook n’est pas la seule entreprise à utiliser l’intelligence artificielle afin d’améliorer l’expérience des utilisateurs malvoyants. En mars 2019, Google publiait une nouvelle application nommée Lookout permettant d’identifier des objets simplement en pointant la caméra du téléphone sur l’objet. En septembre 2019, Amazon annonçait « Show and Tell », une nouvelle fonctionnalité similaire pour les enceintes connectées Alexa Show, équipées d’un écran et d’une caméra. Avec cette fonctionnalité, les utilisateurs n’ont qu’à placer un objet devant l’écran et demander à Alexa ce qu’ils montrent afin d’obtenir une description de la part de l’assistant vocal. 

En dehors de l’intelligence artificielle, les géants de la Tech construisent également leurs plateformes afin de les rendre les plus accessibles possibles. Par exemple, les nombreuses fonctionnalités d’accessibilité d’iOS permettent de contrôler un iPhone intégralement sans voir l’écran. De son côté, Google a ajouté un clavier braille à Android afin de permettre aux malvoyants de facilement taper du texte. À l’heure où la technologie est omniprésente, il est essentiel de fournir des moyens aux personnes malvoyantes de se connecter au monde digital. Sur ce point, les géants de la Tech ne laissent que peu de place à la critique.