La crise des deepfakes : pourquoi les garde-fous de l'IA comptent

En janvier 2026, les chercheurs de Copyleaks ont découvert que Grok, le chatbot intégré à X (anciennement Twitter), générait environ une image sexualisée non consentie par minute. Pas des images de personnages fictifs. Des images de vraies personnes, mineures comprises, créées à partir de photos qu'elles avaient publiées sur la plateforme.

Entre décembre 2025 et janvier 2026, Grok a généré plus de 4,4 millions d'images sur X. Jusqu'à 41 % contenaient des images sexuelles de vraies femmes. Au pic d'utilisation, l'outil produisait environ 6 700 deepfakes sexualisés par heure, publiés directement sur le même réseau social où vivaient les photos originales des victimes.

Ce n'est pas un risque théorique. C'est ce qui se passe quand on met en production des capacités de génération d'images sans garde-fous sérieux.

Ce qui s'est passé avec Grok

Le phénomène a commencé en mai 2025, quand des utilisateurs ont découvert que Grok pouvait "déshabiller" des personnes sur des photos. Fin décembre, c'était devenu une tendance sur X. Les utilisateurs prenaient une photo habillée de quelqu'un et demandaient à Grok d'en générer une version sexualisée. Le résultat était publié ouvertement, parfois en devenant viral.

Reuters a testé le système après que xAI a annoncé des garde-fous renforcés. Neuf journalistes ont soumis des dizaines de prompts contrôlés. Grok a produit des images sexualisées pour 45 prompts sur 55. Les mêmes requêtes ont été refusées par les systèmes d'OpenAI, Google et Meta.

La réponse des régulateurs a été rapide. La Commission irlandaise de protection des données a ouvert une enquête européenne. L'Espagne a demandé à ses procureurs d'enquêter sur X, Meta et TikTok pour les contenus de type CSAM générés par IA. Le procureur général de Californie a envoyé une mise en demeure à xAI. La France, l'Inde et l'Ofcom britannique ont lancé leurs propres enquêtes. Un recours collectif a été déposé devant le tribunal fédéral de Californie le 23 janvier.

Le recours avance un argument qui mérite d'être lu attentivement : xAI savait que les abus avaient lieu et a répondu non pas en corrigeant le problème mais en réservant la fonctionnalité aux abonnés payants. Monétiser le préjudice au lieu de le prévenir.

Le problème de fond

Grok est le cas le plus visible mais la crise des deepfakes va bien au-delà.

Une étude de 2023 a montré que 98 % des vidéos deepfake en ligne sont pornographiques, ciblant massivement des femmes qui n'ont jamais donné leur consentement. La barrière technique s'est effondrée. Ce qui demandait autrefois des compétences en montage vidéo ne nécessite plus qu'un prompt textuel.

Les dégâts ne se limitent pas aux images intimes. Des appels automatisés générés par IA ont imité le président Biden pendant la primaire du New Hampshire en 2024. Des vidéos deepfake de personnalités politiques circulent sur les réseaux sociaux à chaque cycle électoral et distinguer le vrai du faux devient plus difficile de mois en mois. Les voix et visages synthétiques servent aussi à l'usurpation d'identité, aux arnaques au faux PDG et à la vérification client frauduleuse. La technologie est accessible et elle le devient de plus en plus.

Les entreprises qui construisent ces modèles savent tout ça.

Pourquoi le "vite fait, tant pis" ne marche pas ici

Le scandale Grok illustre parfaitement ce qui arrive quand on applique le playbook classique de la Silicon Valley à l'IA générative. On lance la fonctionnalité, on regarde ce qui se passe, on corrige après.

Le problème, c'est que "après" arrive une fois que des millions d'images non consenties ont été générées et diffusées. On ne peut pas dé-générer une image. On ne peut pas la supprimer de chaque appareil qui l'a enregistrée. Le préjudice se cumule à chaque heure où le système tourne sans contrôle.

Comparons avec la façon dont OpenAI, Google et Meta ont géré la même capacité. Les trois proposent la génération d'images. Les trois ont refusé exactement les mêmes prompts que Grok a exécutés sans broncher. Pas parce qu'ils manquent de capacité technique : parce qu'ils ont construit des mécanismes de refus avant de livrer.

Ces garde-fous sont-ils parfaits ? Non, les gens trouvent des contournements. Mais il y a une différence énorme entre un système qui essaie de prévenir les abus et échoue parfois et un système qui ne tente rien.

La sécurité en IA générative n'est pas un handicap concurrentiel. C'est une exigence d'ingénierie de base, comme la validation des entrées sur un formulaire web. On ne livre pas sans.

Des garde-fous responsables, ça ressemble à quoi ?

La sécurité efficace pour les modèles de génération d'images repose sur plusieurs couches, et aucune n'est exotique.

Ça commence par des classificateurs de contenu qui signalent les schémas nocifs avant la génération. On entraîne des classificateurs sur des catégories de contenu nuisible (images intimes non consenties, CSAM, contenu politique trompeur) et on les applique à l'entrée comme à la sortie. Un prompt demandant de "retirer les vêtements" d'une photo de personne réelle ne devrait jamais atteindre le modèle de génération.

Les protections d'identité sont plus complexes techniquement mais tout aussi importantes : empêcher de générer des images réalistes de personnes identifiables sans consentement. Certaines approches utilisent la reconnaissance faciale pour bloquer les générations correspondant à des visages connus. D'autres signalent tout prompt mentionnant une personne réelle par son nom.

Ensuite, la provenance. Le standard C2PA (Coalition for Content Provenance and Authenticity), soutenu par Adobe, Microsoft, Google et OpenAI, intègre des métadonnées cryptographiques de provenance dans les fichiers générés. Le Code de pratique de l'UE sur les contenus générés par IA promeut des étiquettes visibles combinées à des filigranes invisibles lisibles par machine. L'objectif : que le contenu synthétique reste identifiable même après une capture d'écran et un repartage.

Par-dessus tout ça, il faut de la limitation de débit (générer des milliers d'images sexualisées en peu de temps est un signal évident), de la surveillance en temps réel des comportements abusifs et des mécanismes de signalement qui donnent aux victimes un chemin rapide vers la suppression.

Ce sont des pratiques standard chez les laboratoires responsables. La question n'est pas de savoir si on sait construire des garde-fous. C'est de savoir si les entreprises choisissent de le faire.

La réponse réglementaire

Les législateurs avancent. Pas toujours assez vite mais le cadre prend forme.

Le règlement européen sur l'IA, dont les dispositions entrent en vigueur le 2 août 2026, est le plus complet. L'article 50 exige que les contenus générés par IA soient "marqués dans un format lisible par machine et détectables comme générés artificiellement". Les déployeurs doivent signaler les contenus synthétiques dès la première interaction. L'article 99 prévoit des sanctions allant jusqu'à 15 millions d'euros ou 3 % du chiffre d'affaires mondial. Un Code de pratique sur la transparence devrait être finalisé d'ici mi-2026.

Aux États-Unis, le TAKE IT DOWN Act a été signé en mai 2025 (l'un des rares textes bipartisans sur l'IA). Il interdit la publication de deepfakes intimes non consentis et impose aux plateformes de mettre en place des processus de retrait d'ici mai 2026. Au niveau des États, 48 sur 50 ont désormais une législation sur les deepfakes : 30 États traitent spécifiquement les images intimes deepfake non consenties et 45 criminalisent les contenus CSAM générés par IA.

Les autres juridictions suivent. Le Online Safety Act britannique couvre les images intimes synthétiques. L'Australie a proposé une législation. L'Inde et la France ont lancé des enquêtes spécifiquement en réponse au scandale Grok.

La direction est évidente : les entreprises qui déploient de l'IA générative devront répondre de ce que leurs systèmes produisent. Intégrer la sécurité devient une obligation légale, pas seulement de la bonne pratique.

Ce que ça implique pour ceux qui déploient de l'IA générative

Si vous déployez un modèle qui génère des images, des vidéos ou de l'audio réaliste, le cas Grok est un avertissement.

Testez votre système avec des prompts adversariaux avant de livrer. Essayez de lui faire générer du contenu nuisible. Si vous y arrivez, vos utilisateurs aussi. Ce n'est pas optionnel.

Aucun classificateur ne capte tout seul, alors superposez vos défenses : filtrage des entrées, classification des sorties, métadonnées de provenance, limitation de débit, surveillance des abus. La défense en profondeur fonctionne pour la sécurité de l'IA comme pour la cybersécurité.

Construisez des mécanismes de retrait dès le premier jour. Quand quelqu'un signale que votre système a généré du contenu nuisible le concernant, vous avez besoin d'une réponse rapide. J'ai vu des entreprises boulonner des flux de signalement en urgence après une crise : ça ne se passe jamais bien.

Et suivez la réglementation. Les échéances du règlement européen sur l'IA approchent. Les obligations de retrait du TAKE IT DOWN Act entrent en vigueur en mai 2026. Les États américains votent de nouvelles lois chaque trimestre. Si votre produit sert des utilisateurs dans ces juridictions, la conformité est votre problème, pas celui de votre avocat.

La technologie de génération de médias synthétiques réalistes est là et elle ne va pas disparaître. Les entreprises qui intègrent la sécurité dans le produit dès le départ seront celles qui opèrent encore quand l'application des règles commencera vraiment.

Si vous devez affronter ces questions dans vos propres déploiements d'IA, j'aborde la sécurité et la conformité dans le cadre de mon travail de conseil.