Selon l’ANSSI ces interactions doivent faire l’objet d’une attention particulière et doivent être intégrées dans le périmètre de l’analyse de risque à toutes les phases du projet.
Concrètement, l’ANSSI recommande les choses suivantes :
→ D’intégrer la sécurité dans toutes les phases du cycle de vie d’un système d’IA
→ A ce titre, des mesures de sécurité doivent être identifiées et appliquées dans chacune des 3 phases du cycle de vie d’un système d’IA : entraînement, déploiement et production.
→ Ces mesures dépendent fortement du scénario de partage de responsabilités retenu et de la sous-traitance associée.
→ Elles doivent également tenir compte des interactions avec d’autres applications ou composants internes ou externes au SI.
👉 Pour rappel, l’ANSSI identifie 3 modalités principales d’attaques contre les IA :
Attaques par manipulation : ces attaques consistent à détourner le comportement du système d’IA en production au moyen de requêtes malveillantes. Elles peuvent provoquer des réponses inattendues, des actions dangereuses ou un déni de service.
Attaques par infection : ces attaques consistent à contaminer un système d’IA lors de sa phase d’entraînement, en altérant les données d’entraînement ou en insérant une porte dérobée.
Attaques par exfiltration : ces attaques consistent à dérober des informations sur le système d’IA en production, comme les données ayant servi à entraîner le modèle, les données des utilisateurs ou bien des données internes du modèle (paramètres).
👉 L’intégration d’un système d’IA dans un SI existant peut être un recours contre le shadow AI.
Cela étant, intégrer un système d’IA dans un SI existant peut être techniquement complexe, surtout si le SI est ancien ou hétérogène. Cela nécessite une planification rigoureuse, des tests et une gestion de la transition.
👉 J’aurai l’occasion d’en débattre lors de notre prochaine émission en partenariat avec Olfeo : Shadow AI : l’échec inéluctable des politiques de cybersécurité ?
