Facebook fournit un nouvel aperçu de ses efforts pour lutter contre les abus racistes en ligne dans le sillage de l'Euro 2020

Après un autre incident majeur d'abus racistes en ligne, ciblant des membres de l'équipe de football anglaise, Facebook a fourni un nouvel aperçu de la façon dont il fonctionne pour lutter contre ces attaques et empêcher les gens de subir des abus fondés sur la race sur ses plateformes.

Après la défaite de l'Angleterre lors de la finale du Championnat d'Europe dimanche, les trolls des médias sociaux ont publié des centaines de remarques racistes, attaquant les trois joueurs noirs de l'équipe de football d'Angleterre, qui incluaient l'utilisation d'emojis comme élément d'abus. Quels systèmes d'Instagram n'ont pas initialement soulevé de problème - mais maintenant, après examen, Facebook a mis à jour ses systèmes et ses équipes pour s'assurer qu'il traite des incidents similaires à l'avenir, tout en cherchant également à améliorer ses processus dans l'ensemble.

Comme l'explique Facebook :

"Nous sommes consternés par les abus racistes odieux que certains membres de l'équipe de football d'Angleterre ont subis après la finale de l'Euro 2020 le week-end dernier. C'est un problème extrêmement grave sur lequel nous travaillons depuis des années, ce qui implique de travailler directement avec les organisations de football et la loi. mise en vigueur."

En effet, même cette année, Facebook a été confronté à de sérieux défis sur ce front, encore une fois liés aux fans de football britanniques.

En février, Instagram est devenu involontairement la source de divers incidents d'attaques basées sur la race contre des joueurs de Manchester United, Chelsea et Liverpool, entre autres, qui ont été ciblés via Instagram Direct. Manchester United, dans une déclaration conjointe avec Everton, Liverpool et Manchester City , a condamné les incidents et a appelé la société mère d'Instagram, Facebook, à faire davantage pour protéger les utilisateurs contre ces incidents, ce qui a conduit Instagram à appliquer des sanctions plus sévères pour ceux qui envoyaient des abus via DM, et une nouvelle option pour les comptes personnels pour désactiver les DM des personnes qu'ils ne suivent pas.

De toute évidence, cependant, il y a encore plus de problèmes à résoudre à ce sujet. Et bien que le racisme soit un problème de société, et ne se limite pas aux plateformes sociales en tant que telles, Facebook doit s'assurer qu'il ne fournit aucune amplification pour le même, afin de faire sa part pour réduire ses impacts.

Facebook indique clairement que :

"Nous n'autorisons pas les attaques contre des personnes en raison de leurs caractéristiques protégées, notamment la race, la religion, la nationalité ou l'orientation sexuelle. Si nous sommes informés de l'utilisation de mots ou d'emojis pour attaquer des personnes en raison de leur race, nous les supprimons. parce qu'ils enfreignent nos politiques. Nous publions nos politiques sur les discours de haine dans nos normes communautaires et les directives communautaires d'Instagram.

Le problème de ce dernier incident, comme indiqué, était que l'utilisation d'emojis comme marqueur raciste n'avait pas été initialement identifiée, ce que le chef d'Instagram, Adam Mosseri, a reconnu.

Facebook explique qu'il identifie le discours de haine en utilisant une combinaison d'intelligence artificielle et d'examen humain.

"L'IA nous aide à hiérarchiser les rapports pour nos examinateurs et à prendre des mesures automatisées le cas échéant. Entre janvier et mars 2021, nous avons supprimé plus de 25 millions de contenus de discours de haine de Facebook - près de 97 % avant que quelqu'un ne nous le signale. Et sur Instagram , nous avons pris des mesures sur 6,3 millions d'éléments de contenu, dont 93 % avant que quelqu'un ne nous le signale."

Ce qui est un bon taux de résultat, mais comme le montre ce dernier incident, il y a encore des moments où ces systèmes ne pourront pas tout attraper. Ce qui, comme le note encore Mosseri, est aussi un défi d'échelle.

De manière réaliste, il n'y a aucun moyen de les éliminer complètement, mais Facebook s'efforce de s'assurer qu'il met à jour ses systèmes en temps réel, au fur et à mesure que des cas sont détectés, afin de travailler plus rapidement pour lutter contre les abus et limiter l'exposition.

"Les gens ont été frustrés à juste titre lorsqu'ils ont signalé des messages et on leur a dit à tort que les commentaires haineux avec certains emojis n'enfreignaient pas nos règles. C'est parce que notre IA n'a pas compris le contexte - et c'est une erreur. Nous avons déménagé rapidement pour corriger cela grâce aux récentes améliorations de notre technologie. Nous continuerons à travailler sur ce point afin de pouvoir supprimer plus rapidement les émojis en infraction de notre plate-forme."

C'est un équilibre très difficile, et personne n'a toutes les réponses. Divers groupes de réglementation, par exemple, ont proposé des sanctions plus sévères pour les plateformes sociales qui ne parviennent pas à résoudre ce problème en temps opportun. Le problème est que ce qui est considéré comme « opportun » sera différent presque au cas par cas.

Est-ce qu'Instagram aurait dû détecter l'utilisation abusive des emojis plus tôt ? Oui - mais ses systèmes automatisés n'ont pas identifié cela comme un problème. Parce que ce n'était pas le cas, jusqu'à ce que ce soit le cas, et personne n'aurait nécessairement pu l'anticiper avant qu'il ne soit trop tard.

Une façon possible de résoudre ce problème pourrait être d'imposer des exigences d'identification plus strictes aux individus lorsqu'ils s'inscrivent à des comptes de médias sociaux, ce qui faciliterait l'identification des contrevenants. S'il existe une menace de recours juridique dans le monde réel pour vos actions en ligne, cela pourrait constituer une menace suffisante pour inciter les utilisateurs à reconsidérer leurs actions.

Mais Facebook dit que ce n'est pas nécessairement la voie à suivre :

"Il y a des risques avec la vérification d'identité, principalement l'exclusion de groupes - en particulier les groupes défavorisés - qui n'ont pas facilement accès aux formulaires d'identification officiels. La modélisation la plus récente de la Commission électorale estime que 11 millions de personnes au Royaume-Uni n'ont pas un permis de conduire ou un passeport, et que ce groupe était plus susceptible d'être issu de milieux défavorisés."

Ce qui est un point valable, et offre une fois de plus une plus grande portée quant au défi qui l'attend, et à toutes les plateformes en ligne, à cet égard.

C'est un défi difficile, mais important, et que Facebook prend très au sérieux. Idéalement, une solution peut être trouvée pour résoudre ces problèmes clés, mais en réalité, il y aura toujours un niveau d'utilisation abusive, quelles que soient les mesures mises en œuvre.

Et encore une fois, à l'échelle de Facebook, même une petite marge d'erreur peut signifier un impact important.

Espérons qu'à mesure que les systèmes automatisés évoluent, davantage d'outils pourront être mis en place pour maintenir un environnement sûr pour tous.