À l’ère du numérique, des milliards de contenus sont téléchargés chaque jour sur des plateformes et des sites Web en ligne.
La modération de ce type de contenu n’a donc jamais été aussi importante ni aussi difficile. Si la plupart de ces contenus téléchargés sont positifs, nous constatons également un volume croissant de contenus préjudiciables et illégaux, allant de la violence et de l’automutilation à la rhétorique extrémiste, en passant par des images sexuellement explicites et des contenus d’abus sexuels sur mineurs (CSAM).
Lutter contre ce déluge de contenus préjudiciables constitue désormais un défi majeur pour les entreprises. Celles qui ne peuvent (ou ne veulent) pas le faire s’exposent à des sanctions importantes et mettent les enfants en danger.
Nos propres recherches ont révélé que plus d’un tiers (38 %) des parents ont été approchés par leurs enfants après avoir vu du contenu préjudiciable ou illégalavec de nombreuses personnes accédant à des contenus aussi explicites et préjudiciables que le CSAM en seulement dix minutes après être allées en ligne.
Il est donc temps de renforcer les mesures de modération des contenus et d’aller au-delà des méthodes de modération manuelles traditionnelles, devenues peu pratiques et non évolutives. Elles devraient plutôt tirer parti des capacités complémentaires de l’IA qui transforment le paysage de la modération des contenus grâce à l’automatisation, à une précision accrue et à l’évolutivité.
Cependant, comme pour toute innovation, les entreprises souhaitant utiliser l’IA doivent veiller à mettre en œuvre la technologie de manière à garantir la conformité réglementaire. Les décisions que prennent les entreprises aujourd’hui auront un impact considérable sur leurs opérations futures.
Le coup de main de l’IA
L’IA a radicalement transformé le paysage de la modération de contenu en utilisant l’analyse automatique d’images, de vidéos préenregistrées, de flux en direct et d’autres types de contenu en un instant. Elle peut identifier des problèmes tels que l’activité des mineurs dans les divertissements pour adultes, la nudité, l’activité sexuelle, la violence extrême, l’automutilation et les symboles de haine sur les plateformes de contenu généré par les utilisateurs, y compris les médias sociaux.
L’IA est entraînée à partir de grandes quantités de « données de base », collectant et analysant des informations à partir d’archives d’images et de vidéos taguées allant des armes au contenu explicite. La précision et l’efficacité des systèmes d’IA sont directement liées à la qualité et à la quantité de ces données. Une fois entraînée, l’IA peut détecter efficacement diverses formes de contenu préjudiciable. Cela est particulièrement important dans les scénarios de diffusion en direct, où la modération du contenu doit être viable sur diverses plateformes avec des normes juridiques et communautaires variées.
Une approche automatisée non seulement accélère le processus de modération, mais offre également une évolutivité – une fonctionnalité essentielle à une époque où la modération uniquement humaine ne serait pas possible avec le volume considérable de contenu en ligne.
Une synergie entre l’IA et l’humain
L’automatisation par l’IA présente des avantages considérables, car elle permet aux organisations de modérer à grande échelle et de réduire les coûts en éliminant le besoin d’une grande équipe de modérateurs. Cependant, même la technologie la plus avancée nécessite un jugement humain pour l’accompagner, et l’IA est loin d’être parfaite à elle seule. Des nuances spécifiques et des indices contextuels peuvent perturber les systèmes et générer des résultats inexacts. Par exemple, l’IA peut être incapable de faire la différence entre un couteau de cuisine utilisé dans une vidéo de cuisine et une arme utilisée dans un acte de violence ou de confondre un pistolet-jouet dans une publicité pour enfants avec une véritable arme à feu.
Ainsi, lorsque l’IA signale un contenu potentiellement dangereux ou contraire aux directives, des modérateurs humains peuvent intervenir pour l’examiner et prendre la décision finale. Cette approche hybride garantit que, même si l’IA étend la portée de la modération du contenu et simplifie le processus, les humains conservent l’autorité ultime, en particulier dans les cas complexes.
Au cours des prochaines années, les techniques d’identification et de vérification de l’IA continueront de se perfectionner. Cela implique notamment d’améliorer la précision de la mise en correspondance des individus figurant dans divers types de contenu avec leurs documents d’identité – une nouvelle étape pour garantir le consentement et limiter la diffusion de contenu non autorisé.
Grâce à ses capacités d’apprentissage, l’IA améliorera constamment sa précision et son efficacité, avec le potentiel de réduire le besoin d’intervention humaine à mesure qu’elle continue d’évoluer. Cependant, l’élément humain continuera d’être nécessaire, en particulier dans les recours et les résolutions de litiges liés aux décisions de modération de contenu. Non seulement les technologies d’IA actuelles manquent de perspective et de compréhension nuancées, mais les humains peuvent également servir de contrôle contre les biais ou les erreurs algorithmiques potentiels.
Le paysage réglementaire mondial de l’IA
À mesure que l’IA continue de se développer et d’évoluer, de nombreuses entreprises se tourneront vers les organismes de réglementation pour définir leurs plans visant à régir les applications de l’IA. L’Union européenne est à l’avant-garde de cette législation, avec sa loi sur l’intelligence artificielle qui entrera en vigueur en août 2024. Positionnée comme un pionnier dans le domaine réglementaire, la loi classe les systèmes d’IA en trois types : ceux qui présentent un risque inacceptable, ceux considérés comme à haut risque et une troisième catégorie soumise à une réglementation minimale.
Un bureau de l’IA a été créé pour superviser la mise en œuvre de la loi. Il est composé de cinq unités : réglementation et conformité ; sécurité ; innovation et coordination des politiques en matière d’IA ; robotique et IA pour le bien de la société ; et excellence en IA. Le bureau supervisera également les délais accordés à certaines entreprises pour se conformer à la nouvelle réglementation, allant de six mois pour les systèmes d’IA interdits à 36 mois pour les systèmes d’IA à haut risque.
Il est donc conseillé aux entreprises de l’UE de suivre de près l’évolution de la législation afin d’évaluer l’impact sur leurs opérations et de s’assurer que leurs systèmes d’IA sont conformes dans les délais impartis. Il est également essentiel pour les entreprises situées hors de l’UE de se tenir informées de la manière dont ces réglementations pourraient affecter leurs activités, car la législation devrait éclairer les politiques non seulement au sein de l’UE, mais potentiellement au Royaume-Uni, aux États-Unis et dans d’autres régions. Les réglementations britanniques et américaines en matière d’IA suivront le même chemin. Les entreprises doivent donc s’assurer qu’elles sont à l’écoute et que tous les outils qu’elles mettent en œuvre aujourd’hui sont susceptibles de respecter les directives de conformité mises en place par ces pays à l’avenir.
Une approche collaborative pour un Internet plus sûr
Cela étant dit, la mise en œuvre réussie de l’IA dans la modération de contenu nécessitera également un engagement fort en faveur d’une amélioration continue. Des outils seront probablement développés avant l’entrée en vigueur de toute réglementation. Il est donc important que les entreprises les auditent de manière proactive pour éviter les biais potentiels, garantir l’équité et protéger la confidentialité des utilisateurs. Les organisations doivent également investir dans la formation continue des modérateurs humains afin qu’ils puissent traiter efficacement les cas nuancés signalés par l’IA pour examen.
Dans le même temps, compte tenu de la nature psychologiquement éprouvante du travail de modération de contenu, les fournisseurs de solutions doivent donner la priorité à la santé mentale de leurs modérateurs humains, en offrant un soutien psychologique solide, des ressources de bien-être et des stratégies pour limiter l’exposition prolongée à des contenus dérangeants.
En adoptant une approche proactive et responsable de la modération de contenu basée sur l’IA, les plateformes en ligne peuvent cultiver un environnement numérique qui favorise la créativité, la connexion et le dialogue constructif tout en protégeant les utilisateurs contre tout préjudice.
En définitive, les solutions de modération de contenu basées sur l’IA offrent aux organisations une boîte à outils complète pour relever les défis de l’ère numérique. Grâce à la surveillance et au filtrage en temps réel de volumes massifs de contenu généré par les utilisateurs, cette technologie de pointe aide les plateformes à maintenir un environnement en ligne sûr et conforme et leur permet d’adapter efficacement leurs efforts de modération.
Toutefois, lorsqu’elles se tournent vers l’IA, les organisations doivent garder un œil vigilant sur les documents clés, les calendriers de lancement et les implications de la législation à venir.
Si elle est mise en œuvre efficacement, l’IA peut agir comme le partenaire idéal des humains, en créant une solution de modération de contenu qui protège les enfants lorsqu’ils accèdent à Internet et sert de pierre angulaire à la création d’un écosystème en ligne sûr.
Lina Ghazal
Responsable des affaires réglementaires et publiques chez VerifyMy, spécialisé dans l’éthique, la réglementation et la sécurité en ligne, j’ai occupé des postes précédents chez Meta (anciennement Facebook) et Ofcom.
