Qu’est-ce que la sécurité des LLM ?
La sécurité des grands modèles de langage (LLM) désigne les politiques, les contrôles et les technologies utilisés pour protéger les modèles fondamentaux, les données d’entraînement et d’inférence qui les sous-tendent, ainsi que les applications d’entreprise qui s’appuient sur eux. Elle couvre l’ensemble du cycle de vie, depuis l’entraînement et l’ajustement fin des modèles jusqu’à la manière dont ils traitent les entrées et génèrent les sorties en production.
Comprendre la sécurité des LLM
Les LLM répondent à des entrées non structurées en langage naturel et génèrent des résultats qui peuvent varier, même pour une requête identique ; cette propriété est appelée non-déterminisme. Ce caractère non déterministe fait de la sécurité des LLM un enjeu majeur pour les organisations qui traitent des données sensibles, exercent leurs activités dans des secteurs réglementés ou s’appuient sur une automatisation pilotée par l’IA. En l’absence de mesures de protection adéquates, les applications basées sur des LLM peuvent exposer les entreprises à des fuites de données, à des manquements aux exigences de conformité, à des pertes de propriété intellectuelle ainsi qu’à de nouvelles techniques d’attaque, telles que l’injection de requêtes.
Les entreprises adoptent les LLM à un rythme sans précédent pour traiter directement les données sensibles de leurs clients, rédiger des communications de marque destinées au public, et bien plus encore. En l’absence de contrôles appropriés, les LLM peuvent être exploités au moyen d’attaques fondées sur le langage, divulguer des informations confidentielles ou produire des résultats dangereux susceptibles de causer des préjudices opérationnels ou d’entacher la réputation de l’entreprise. Les entreprises mettent en production des outils intégrés reposant sur des modèles de base plus rapidement qu’elles ne mettent en place les contrôles nécessaires. En outre, l’essor de l’IA agentique, qui exécute des actions, des appels d’outils et des communications sans intervention humaine explicite, a fait apparaître un nouveau profil de risque plus élevé.
Pourquoi la sécurité des LLM est-elle importante ?
La sécurité est essentielle, car les LLM influencent les décisions, automatisent des tâches et interagissent directement avec les utilisateurs. La sécurité des applications basées sur des LLM considère les modèles comme des composants à haut risque. Leur protection nécessite une évaluation continue plutôt que des tests ponctuels ; les équipes doivent s’assurer que les modèles se comportent de manière sûre et prévisible à mesure que les usages évoluent. Les nouvelles réglementations, telles que le règlement européen sur l’intelligence artificielle, imposent aux organisations de mettre en œuvre des mesures de gestion des risques, de journalisation et de contrôle humain pour les systèmes d’IA, faisant ainsi de la sécurité des LLM une exigence de conformité et non plus seulement une bonne pratique technique.
Outre les mesures de gouvernance supplémentaires telles que la surveillance, l’audit et le contrôle humain, la sécurité des LLM couvre quatre domaines principaux :
- Protection des données d’entraînement et d’inférence
- Préserver l’intégrité du modèle
- Contrôle des entrées et des sorties
- Sécurisation des environnements de déploiement et des API
Protection des données d’entraînement et d’inférence
Empoisonnement des données d’entraînement et pipelines sécurisés
Les LLM apprennent à partir de vastes jeux de données et de composants tiers. Si les données d’entraînement ou d’affinage sont altérées de manière malveillante, les modèles peuvent acquérir des comportements biaisés, des portes dérobées cachées ou des réponses dangereuses. Les données d’entraînement et d’affinage façonnent directement le comportement des modèles. L’utilisation de jeux de données non vérifiés ou mal encadrés accroît le risque d’empoisonnement des données, de biais et de mémorisation involontaire d’informations sensibles.
Les bonnes pratiques consistent notamment à s’approvisionner en données auprès de référentiels fiables, à assurer le contrôle des versions, à documenter la traçabilité des données et à auditer les modifications au fil du temps. Une gouvernance rigoureuse des données contribue à la fois à la sécurité des grands modèles de langage (LLM) et à la conformité réglementaire. Garantir la sécurité des grands modèles de langage implique de valider les sources de données, d’en préserver la provenance et d’évaluer en continu les dépendances des modèles.
Divulgation d’informations sensibles et fuite de données
Les grands modèles de langage (LLM) peuvent révéler involontairement des informations sensibles ou propriétaires acquises lors de leur entraînement ou fournies par l’intermédiaire de prompts et de fenêtres de contexte, notamment des informations permettant d’identifier une personne (PII), des identifiants ou des données commerciales confidentielles. La prévention des fuites de données est essentielle à la sécurité des LLM, en particulier dans les environnements réglementés où les manquements à la conformité peuvent avoir de lourdes conséquences.
Préserver l’intégrité du modèle
Sécurité de la chaîne d’approvisionnement, composants de confiance et nomenclature logicielle (SBOM)
Les applications basées sur des LLM s’appuient souvent sur des modèles tiers, des bibliothèques open source, des plugins et des API externes. Chaque dépendance accroît les risques potentiels liés à la chaîne d’approvisionnement. Les modèles open source ou les plugins compromis présentent également un risque pour la chaîne d’approvisionnement. Chaque composant externe utilisé constitue un point d’entrée potentiel supplémentaire pour les acteurs malveillants.
La tenue d’un inventaire des composants au moyen d’une nomenclature logicielle (SBOM), la réalisation régulière d’audits de sécurité et la surveillance des vulnérabilités aident les organisations à réduire leur exposition aux dépendances compromises ou obsolètes.
Contrôle des entrées et des sorties : injection directe et indirecte de prompts
Les attaques par injection directe de prompt consistent, pour les attaquants, à élaborer explicitement une entrée destinée à contourner les instructions système ou à manipuler le comportement d’un modèle au moyen de prompts utilisateur.
L’injection indirecte de prompt se produit lorsqu’un attaquant intègre des instructions malveillantes dans du contenu externe, tel que des documents ou des pages web. Les LLM sont conçus pour suivre des instructions, et l’injection de prompt exploite directement cette caractéristique en introduisant dans le système d’entrée des instructions difficiles à distinguer. Comme les LLM privilégient la compréhension du langage, l’injection de prompt peut contourner les mesures de protection, exposer des données sensibles ou déclencher des actions involontaires.
Pour atténuer ce risque, toutes les entrées transmises aux LLM, notamment les requêtes des utilisateurs, les documents récupérés, le contexte système et les métadonnées, doivent être soigneusement encadrées et assainies. Le contrôle de la surface d’entrée réduit l’exposition aux injections de prompt, aux attaques indirectes par injection de prompt et aux instructions malveillantes intégrées dans des contenus externes. Les pratiques généralement recommandées consistent notamment à établir une liste blanche de sources de données fiables, à supprimer les instructions masquées ou contenant des caractères non imprimables, à limiter la longueur et la complexité des prompts, et à isoler les entrées utilisateur des prompts système.
Traitement et validation non sécurisés des sorties
Traitement non sécurisé des sorties se produit lorsque les applications exécutent ou affichent directement les sorties du modèle sans les valider ni les assainir. Si un modèle génère du code malveillant, des commandes dangereuses ou du contenu trompeur, et que l’application l’exécute aveuglément, les organisations peuvent être confrontées à des attaques XSS (scripts intersites), à l’exécution de commandes système non autorisées ou à des utilisateurs agissant sur la base de fausses informations.
Les sorties des LLM ne doivent jamais être considérées comme fiables sans vérification. Le texte, le code, les requêtes ou les commandes générés doivent être validés avant d’être exécutés, stockés ou présentés aux utilisateurs. Les entreprises doivent appliquer un filtrage du contenu, une validation des schémas et des contrôles tenant compte du contexte afin de s’assurer que les sorties respectent les exigences de sécurité et les politiques en vigueur.
Supervision, vérification des résultats et limites de confiance
Malgré les progrès de l’IA, le jugement humain reste essentiel. Une confiance excessive dans les résultats produits par les LLM peut accroître les erreurs, les informations inventées ou les décisions dangereuses. Les entreprises doivent imposer une validation humaine pour les cas d’usage sensibles, former leurs collaborateurs à une utilisation appropriée des LLM et définir clairement les situations dans lesquelles une personne doit valider les décisions automatisées.
Sécuriser les environnements de déploiement et les API
Autonomie, dépendance excessive et utilisation selon le principe du moindre privilège
Accorder une autonomie excessive aux LLM, par exemple en leur permettant de déclencher des workflows ou de prendre des décisions sans supervision, accroît les risques d’erreurs et d’abus. L’autonomie des LLM sans intervention humaine peut entraîner une série de conséquences imprévues dans le monde réel. L’autonomie des LLM et la dépendance excessive à leur égard sont toutes deux amplifiées par l’IA agentique. Dans ces situations, des attaquants pourraient détourner les LLM à des fins de phishing, d’ingénierie sociale ou de création de code malveillant, aggravant ainsi les menaces.
Pour s’en prémunir, les agents et les plugins de LLM doivent fonctionner selon le principe du moindre privilège. Les modèles ne doivent avoir accès qu’aux données, aux outils et aux actions nécessaires à l’accomplissement de leur fonction prévue. Les opérations à haut risque, telles que l’exécution de code, la modification d’enregistrements ou le lancement de transactions, doivent nécessiter une approbation explicite ou une validation supplémentaire définie et imposée par l’infrastructure.
attaques par déni de service (DoS), épuisement des ressources et vol de modèles
Les points de terminaison des LLM sont des ressources coûteuses et gourmandes en ressources. Les attaquants peuvent en abuser en les submergeant de requêtes complexes, ce qui accroît le trafic et les coûts. Des contrôles d’accès insuffisants peuvent également permettre le vol ou la réplication non autorisée d’un modèle. En l’absence de contrôles et de limites d’accès structurés et robustes, un attaquant peut interroger un modèle et reproduire son comportement sans accéder au back-end. Lors d’attaques par déni de portefeuille, des acteurs malveillants inondent les points de terminaison de requêtes consommant un grand nombre de jetons afin d’épuiser rapidement le budget cloud ou API d’une organisation sans provoquer l’arrêt du service d’IA.
Surveillance, journalisation et réponse aux incidents
La surveillance continue des prompts, des résultats, des habitudes d’utilisation et des performances permet de détecter rapidement les abus, les anomalies ou les menaces émergentes. La journalisation facilite les analyses forensiques et le respect des exigences de conformité. Des réglementations telles que le règlement européen sur l’IA imposent la traçabilité et l’analyse post-incident pour certains systèmes d’IA, ce qui rend la journalisation et la surveillance indispensables à la conformité comme à la sécurité. Les organisations doivent également mettre en place des procédures de réponse aux incidents propres aux événements liés aux grands modèles de langage (LLM), afin d’assurer un confinement et une remédiation rapides en cas de problème.
Principaux risques de sécurité et vulnérabilités des LLM
Les grands modèles de langage et les applications qui les utilisent présentent un profil de risque très différent de celui des applications traditionnelles. Le Top 10 de l’OWASP pour les applications basées sur des LLM porte sur les risques propres à l’IA, tels que l’injection de prompts, la gestion non sécurisée des sorties, l’empoisonnement des données d’entraînement, la divulgation d’informations sensibles, l’autonomie excessive et le déni de service visant les modèles. Contrairement au Top 10 traditionnel de l’OWASP, qui traite des vulnérabilités des applications web telles que les défaillances du contrôle d’accès et les failles d’injection, la version consacrée aux LLM aborde les risques liés aux entrées en langage naturel, au comportement des modèles, aux outils externes et à l’autonomie de l’IA. Ces menaces comprennent l’injection de prompts, la gestion non sécurisée des sorties, l’empoisonnement des données d’entraînement, la divulgation d’informations sensibles, l’autonomie excessive des modèles et le déni de service par épuisement des ressources. Ce référentiel considère les LLM comme des composants à fort impact qui nécessitent une gouvernance dédiée, une surveillance continue et des protections multicouches conformes aux normes modernes applicables aux applications et aux API.
La prise en compte de ces catégories aide les entreprises à concevoir des mesures d’atténuation ciblées, conformes aux pratiques modernes de sécurité des applications et des API, et adaptées aux enjeux spécifiques de la sécurité des grands modèles de langage (LLM).
Bonnes pratiques de sécurité des LLM
Parce que les LLM interagissent en langage naturel, génèrent des résultats dynamiques et sont souvent intégrés à des systèmes sensibles, les contrôles de sécurité traditionnels ne suffisent pas à eux seuls.
Les bonnes pratiques efficaces en matière de sécurité des LLM associent des mesures de protection techniques, des processus de gouvernance et une supervision humaine. Les organisations doivent partir du principe que les prompts peuvent être manipulés, que les résultats peuvent être détournés de leur usage prévu et que les dépendances peuvent être compromises.
L’objectif n’est pas d’éliminer les risques, mais de réduire la probabilité et l’impact des défaillances, tout en permettant une innovation sûre à grande échelle.
Les entreprises doivent disposer d’une visibilité continue sur la nature des risques associés à chaque modèle d’IA qu’elles adoptent. Cela implique de comparer en permanence les modèles déployés aux bibliothèques actualisées de vulnérabilités de l’IA afin de comprendre les menaces que chaque modèle introduit dans l’environnement. Le Comprehensive AI Security Index (CASI) de F5 est l’une des bibliothèques de vulnérabilités de l’IA les plus vastes et les plus régulièrement mises à jour, offrant aux organisations une vision cohérente et actualisée des risques propres à chaque modèle.
Comment F5 assure-t-il la sécurité des LLM ?
Les applications basées sur des LLM doivent être intégrées aux pratiques de développement sécurisé et non traitées comme des systèmes autonomes. À l’instar des API et des microservices, les modèles doivent être versionnés, soumis à un contrôle d’accès, testés et déployés au moyen de pipelines d’intégration et de livraison continues (CI/CD) régis afin que les modifications restent traçables, auditables et réversibles. F5 renforce les contrôles de sécurité et de mise à disposition des applications pour les charges de travail LLM, garantissant une application cohérente des politiques dans les environnements hybrides et multicloud.
La F5 AI Security Platform sécurise et régit les modèles, applications et agents d’IA, ainsi que les API qui les relient, grâce à un cycle continu d’évaluation et d’atténuation des risques qui permet aux clients de garder le contrôle. De la gouvernance de l’IA à sa protection lors de l’exécution, la AI Security Platform assure l’observabilité de l’IA, du pipeline d’ingestion jusqu’aux résultats, grâce à F5 AI Guardrails, F5 AI Red Team et bien plus encore.
F5 BIG-IP et F5 Distributed Cloud Services aident les organisations à sécuriser les API des LLM grâce à la gestion du trafic, au contrôle des accès et à l’inspection. Des fonctionnalités telles que la découverte des API, l’authentification, la limitation du débit et la lutte contre les bots protègent les points de terminaison des LLM contre les utilisations abusives, les attaques par déni de service (DoS) et les attaques automatisées. Ces mesures empêchent l’épuisement des ressources et bloquent les accès non autorisés à des services d’inférence coûteux.
F5 Distributed Cloud Web App and API Protection (WAAP) améliore la sécurité des LLM en détectant les attaques par injection, les invites malveillantes et les schémas de requêtes inhabituels. Cette solution surveille le trafic afin de repérer toute activité anormale, notamment les injections d’invites, l’exfiltration de données ou l’utilisation abusive des fonctionnalités système reposant sur des LLM.
F5 BIG-IP SSL Orchestrator permet de déchiffrer et d’inspecter le trafic chiffré dans les environnements comportant des données sensibles ou des systèmes externes, afin que les outils de sécurité puissent détecter les menaces dissimulées. Cette visibilité est essentielle pour surveiller les entrées et les sorties des LLM en production sans nuire aux performances.
Distributed Cloud Services offrent une gestion centralisée des politiques, une observabilité et une mise en application cohérente dans les environnements hybrides et multicloud. Les équipes de sécurité bénéficient d’une visibilité homogène sur le trafic, les anomalies et les métriques des LLM, ce qui leur permet de détecter les menaces et d’y répondre plus rapidement. L’intégration des LLM aux architectures existantes évite la création de silos d’IA isolés. F5 assure une sécurité de l’IA évolutive et résiliente, qui s’adapte à l’évolution des besoins métier et des menaces, en appliquant les principes de défense en profondeur aux charges de travail d’IA.
Sécurité des LLM : questions fréquentes
Quels sont les principaux risques liés à la sécurité des LLM ?
L’injection de prompts, la fuite de données, la gestion non sécurisée des sorties, l’empoisonnement des données d’entraînement et l’autonomie excessive sont des risques courants.
Comment les entreprises peuvent-elles améliorer la sécurité des grands modèles de langage (LLM) ?
Les entreprises peuvent renforcer la sécurité des LLM en mettant en place plusieurs niveaux de contrôle, notamment le filtrage des entrées, la validation des sorties, l’accès selon le principe du moindre privilège et la surveillance.
En quoi le Top 10 de l’OWASP pour les applications basées sur des LLM diffère-t-il du Top 10 traditionnel de l’OWASP consacré aux risques liés aux applications web ?
Le Top 10 traditionnel de l’OWASP a été conçu pour la sécurité des applications web et couvre des risques tels que les injections, les défaillances d’authentification et les erreurs de configuration. Le Top 10 de l’OWASP pour les applications basées sur des LLM traite des risques liés au langage naturel, au caractère non déterministe et aux usages web non traditionnels (injection de prompts, gestion non sécurisée des sorties, empoisonnement des données d’entraînement, etc.).
Les LLM peuvent-ils être utilisés pour la cyberdéfense ?
Oui. Les LLM sont couramment utilisés pour automatiser l’analyse des menaces, analyser les journaux de sécurité et accélérer le triage et la réponse aux incidents.