# **"Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data"**
(5 juin 2024)
Ce document produit par l'équipe Google Deep Mind et Jigsaw présente une analyse approfondie de l'utilisation abusive de l'intelligence artificielle générative (IA Générative) en se basant sur 200 incidents rapportés entre janvier 2023 et mars 2024.
En voici un résumé complet en français avec les graphiques et tableaux traduits :
### 1. Introduction
L'IA générative multimodale offre un potentiel transformateur dans de nombreux secteurs, mais son utilisation abusive présente des risques importants. Cette étude propose une taxonomie des tactiques de mésusage de l'IA générative, appuyée par une analyse qualitative des incidents rapportés. Il met en évidence des schémas de mésusage, les motivations des auteurs et les stratégies adoptées pour abuser des capacités de ces systèmes dans différents domaines (image, texte, audio, vidéo).
### 2. Méthodologie
Les auteurs ont élaboré une taxonomie des tactiques de mésusage en s'appuyant sur la littérature académique et en analysant des rapports médiatiques sur des abus impliquant l'IA générative. Ils ont extrait des informations sur les acteurs, les objectifs et les stratégies utilisées dans ces incidents.
### 3. Taxonomie des tactiques de mésusage
La taxonomie distingue deux types de tactiques :
1. **Exploitation des capacités de l'IA Générative** : dix tactiques identifiées, telles que l'usurpation d'identité, la création d'images non consensuelles, et la falsification de documents.
2. **Compromission des systèmes d'IA Générative** : huit tactiques identifiées, telles que l'injection de prompts, l'empoisonnement de données, et la compromission de la vie privée.
#### Tableau 1: Tactiques d’exploitation des capacités de l'IA Générative
| Tactique | Définition | Exemple |
|-----------------------------------|-----------------------------------------------------------------|-------------------------------------------------------------|
| Usurpation d’identité | Prendre l’identité d’une personne réelle et agir en son nom | Appels robotiques imitant Joe Biden pour tromper les électeurs |
| Utilisation de l’image appropriée | Modifier ou utiliser l’image d'une personne sans consentement | Photos d'athlètes modifiées pour les montrer souriants |
| Faux profils | Créer des comptes en ligne avec des identités synthétiques | Armée de faux comptes soutenant la présidence des Émirats |
| Imagerie intime non consensuelle | Création d'images explicites à partir de l'image d'adultes | Images de célébrités créées dans des situations sexuelles |
| Matériel d'abus d'enfants (CSAM) | Création de matériel sexuel impliquant des enfants | Contenu CSAI vendu sur Shopee |
| Falsification | Falsification ou représentation erronée de preuves | Images générées de conflits partagées comme preuve réelle |
| Violation de la propriété intellectuelle (PI) | Utilisation sans permission d'œuvres protégées | Livre copié et vendu sur Amazon |
| Contrefaçon | Imitation frauduleuse de marques ou œuvres | Copies frauduleuses de ChatGPT apparaissant en ligne |
| Mise à l'échelle et amplification | Automatisation de la création de contenu à grande échelle | GPT-3 utilisé pour envoyer massivement des emails |
| Ciblage et personnalisation | Attaques ciblées à partir de sorties personnalisées | WormGPT utilisé pour du phishing ciblé |
#### Tableau 2 : Tactiques de compromission des systèmes d'IA Générative
| Tactique | Définition | Exemple |
|----------------------------|----------------------------------------------------------------|----------------------------------------------------------------|
| Injection de prompt | Manipuler des prompts pour générer des sorties non autorisées | ChatGPT contourné pour lister des sites interdits |
| Entrée adversariale | Ajouter des perturbations mineures pour tromper le modèle | Perturbations visuelles causant des erreurs dans les LLMs |
| Jailbreaking | Contournement des filtres de sécurité des modèles | LLM formé pour contourner les restrictions d'autres LLMs |
| Détournement du modèle | Réutilisation de modèles à des fins non prévues | Le chatbot non censuré FreedomGPT testé |
| Extraction de modèle | Obtention de paramètres du modèle | ChatGPT révélant des secrets dans une attaque PoC |
| Stéganographie | Masquage de messages dans des sorties générées par l'IA | Messages secrets cachés dans des médias générés par IA |
| Empoisonnement de données | Manipulation des données d'entraînement pour fausser le modèle | Mémoires empoisonnées dans BlenderBot |
| Compromission de la vie privée | Révélation d'informations sensibles provenant des données | Samsung interdit l'utilisation de ChatGPT après une fuite |
### 4. Résultats
Les résultats montrent que la majorité des abus de l'IA Générative exploitent des capacités facilement accessibles plutôt que des attaques sophistiquées. Les tactiques les plus courantes impliquent l'usurpation d'identité, la falsification de contenu, et la création de faux profils, souvent dans le but de manipuler l'opinion publique ou de réaliser des profits.
#### Graphique 1 : Fréquence des tactiques

Un graphique montre que les tactiques les plus courantes sont l'usurpation d'identité (20%), la mise à l'échelle et l'amplification (13%), et la falsification (12%).
#### Tableau 3 : Modalités associées à chaque tactique
| Tactique | Image | Texte | Audio | Vidéo |
|------------------------------|-------|-------|-------|-------|
| Usurpation d’identité | 4 | 3 | 2 | 5 |
| Falsification | 1 | 12 | 4 | 2 |
| Appropriation de l’image | 12 | 4 | 2 | 2 |
| NCII | 11 | 1 | 1 | 11 |
### 5. Discussion
Les abus liés à l'IA générative amplifient des menaces existantes comme la manipulation de l'information, mais ouvrent aussi la voie à de nouveaux types d'abus. Des interventions techniques (comme la détection des médias synthétiques) et non techniques (comme la sensibilisation) sont nécessaires pour lutter contre ces abus.
### 6. Limites et recherches futures
La recherche est limitée par la dépendance aux rapports médiatiques, susceptibles de sous-représenter certains types d’abus. La progression rapide des capacités multimodales de l'IA pourrait entraîner de nouvelles formes de mésusage, nécessitant des analyses longitudinales.
### 7. Conclusion
L'IA générative abaisse les barrières d'entrée pour des abus divers et variés, augmentant l'ampleur des menaces de manipulation de l'information. Une approche multiforme, alliant régulation et sensibilisation, est nécessaire pour atténuer ces risques.
Ce document constitue une base de référence pour les chercheurs et les décideurs souhaitant mieux comprendre et prévenir l'utilisation abusive de l'IA générative.