Un rapport de l’ONU publié en mars de cette année fait état de la première utilisation connue d’une arme létale autonome: le Kargu-2, conçu par la société turque STM et utilisé par l’ancien gouvernement libyen intérimaire contre les forces rebelles affiliées à Haftar l’an dernier.
Le rapport ne dit pas si le Kargu-2 a ciblé des humains, mais cela représente la première utilisation d’un drone avec des capacités létales capable de fonctionner sans contrôle humain pour identifier et frapper une cible.
De telles armes létales autonomes peuvent nécessiter un humain pour les déployer, mais elles sont programmées pour identifier de façon autonome les cibles, en fonction d’ensembles de données qu’elles récoltent à l’entraînement. Elles sont programmées pour tirer sans qu’une décision humaine n’intervienne pour juger des subtilités de la situation immédiate.
Les discussions de l’ONU
Un groupe d’experts gouvernementaux des États membres et des ONG s’est réuni ces deux dernières semaines à l’ONU dans le cadre de la Convention sur certaines armes classiques (CCW) pour discuter de la manière de réglementer ce secteur d’armes émergent.
«Nous voulons que des limites internationales soient fixées durant le développement de ces technologies, plutôt que de laisser le développement dicter ce qui devrait être accepté sur le champ de combat», a déclaré Maya Brehm, conseillère juridique au Comité international de la Croix-Rouge (CICR), qui a participé aux dernières discussions de l’ONU.
La position du CICR est que rien ne doit être laissé au hasard. Une arme capable de sélectionner et tirer sur une cible indépendamment d’un contrôle humain «présente un risque de préjudice pour les personnes touchées par un conflit armé, en particulier les civils et les combattants blessés ou en cours de reddition», a-t-elle ajouté.
S’appuyant sur le groupe d’experts gouvernementaux de l’an dernier, la dernière session, qui s’est terminée vendredi 13 août, constitue une étape dans le mandat de deux ans visant à élaborer des «recommandations communes sur un cadre normatif et opérationnel pour les systèmes d’armes autonomes», a déclaré dans une interview Giacomo Persi Paoli, responsable du programme de sécurité et des technologies à l’Institut des Nations Unies pour la recherche sur le désarmement (UNIDIR), qui a aussi envoyé des représentants au sein du groupe d’experts gouvernementaux.
«Il s’agit de décomposer le problème ainsi: comment qualifier les lois, quel est le rôle de l’humain, quel est le rôle du droit international, quels sont certains des aspects les plus opérationnels qui doivent être pris en compte», a-t-il ajouté.
Cette dernière session a été l’occasion pour les ONG et les États membres de présenter leurs points de vue et leurs préoccupations concernant un cadre réglementaire international. La présidence examinera les contributions, identifiera les zones de consensus qui en ressortent, et fera ses recommandations pour l’ordre du jour de la prochaine session, qui se déroulera du 27 septembre au 1er octobre.
L’objectif de la prochaine session est de produire un accord et des recommandations pour la Conférence d’examen de la Convention sur certaines armes classiques (CCW) qui se tiendra à la fin de l’année.
«Un contrôle humain significatif»
Aucun État ne veut d’armes incontrôlables et imprévisibles, a déclaré Giacomo Persi Paoli. «Que l’on appelle cela le contrôle humain, l’implication humaine, l’interaction homme-machine – il n’existe pas nécessairement de consensus sur la terminologie – tout le monde reconnaît aujourd’hui que les humains doivent faire partie de l’équation», a-t-il ajouté.
«Il existe toutefois un éventail de contrôles humains, et les États membres sont loin de parvenir à un consensus sur les domaines dans lesquels le droit international devrait limiter le développement d’armes autonomes» a déclaré à Geneva Solutions Ousman Noor, le responsable gouvernemental de la Campagne Stopper les Robots Tueurs, qui a assisté aux sessions au Palais des Nations.
Certains font confiance aux capacités de l’IA et à la précision de la reconnaissance d’image, et soutiennent que l’IA peut être programmée pour fonctionner conformément aux lois internationales existantes avec un contrôle humain minimal, a-t-il ajouté.
Le CICR et la Campagne Stopper les Robots Tueurs, une coalition internationale de 180 ONG, soutiennent à l’inverse qu’une interdiction internationale totale des armes autonomes létales capables de fonctionner sans «contrôle humain significatif» est nécessaire. Ils demandent une surveillance étroite et des révisions juridiques fréquentes en matière d’armes autonomes.
Selon Human Rights Watch, cofondateur de la Campagne Stopper les Robots Tueurs, 31 pays sont favorables à l’interdiction des systèmes d’armes autonomes.
Certains États préfèrent les termes «contrôle approprié» ou «contrôle suffisant». Ousman Noor précise cependant ceci: «nous utilisons le terme «contrôle humain significatif» parce que le mot «significatif» est significatif.»
Les armes dotées de capacités d’apprentissage automatique qui ne fonctionnent pas de manière prévisible échappent à un contrôle significatif, explique-t-il. Si les humains ne peuvent pas détecter quand une arme est activée, ne peuvent pas la désactiver, et ne peuvent pas déterminer son champ opérationnel, «c’est en soi un manque de contrôle».
Problèmes de données
L’un des éléments concernant un manque de contrôle vient du fait que l’IA peut faire des erreurs. Les données sur lesquelles elle se base sont moins désordonnées que les environnements du monde réel. Un récent rapport de l’UNIDIR explore les défis en matière de données liés à la préparation du déploiement des dispositifs autonomes. Selon ce rapport, des «conditions difficiles», des «actions contradictoires», la «complexité et la variabilité», ainsi que la «dérive des données» – autant de changements dans l’environnement – peuvent avoir pour conséquence l’identification erronée d’une cible par un drone.
Une autre difficulté est que la collecte de données sur les humains est problématique, a déclaré Ousman Noor. «L’idée d’encoder ce que signifie être humain quand vous concevez une arme, est néfaste pour les êtres humains. On ne peut que tenir compte de notre forme, notre signal thermique, notre température. Le processus d’encodage n’est pas digne, il est déshumanisant, il transforme juste les êtres humains en des clés USB.»
Perspectives
Un autre dilemme est de savoir comment réglementer quelque chose qui n’existe pas encore. Les armes létales autonomes ne peuvent pour le moment exécuter que des tâches restreintes, mais elles pourraient à l’avenir être des machines d’auto-apprentissage qui développent leurs capacités d’exécuter une gamme de tâches, notamment tuer. Les experts soulignent que les développements dans l’apprentissage automatique pourraient permettre à une telle arme d’effectuer des actions que le programmeur n’avait aucun moyen d’anticiper.
La première chose à faire pour réguler un scénario futuriste tel que celui des armes totalement autonomes est de «limiter l’espace problématique», a affirmé Giacomo Persi Paoli. Actuellement, «tout est sur la table: des systèmes d’armes entièrement autonomes – dont la définition diffère grandement d’une personne à l’autre – aux systèmes partiellement autonomes. Commençons donc par nous mettre d’accord sur ce que nous voulons prévenir.»
Il est important de ne pas être réducteurs, a précisé Giacomo Persi Paoli. Avant cette session en particulier, «il y a eu une sorte d’approche binaire: soit c’est interdit, soit c’est permis. Le débat doit devenir de plus en plus nuancé.»
La bonne nouvelle, c’est que «nous sommes très loin» d’une course aux armements dotés d’IA proche de celle de la guerre froide, a-t-il confié à Geneva Solutions. «Bien que les sommes investies dans l’IA par les pays ayant de grandes forces militaires semblent à première vue importantes, seule une part infime de leur budget de défense est dépensée dans ce domaine. La concurrence est toutefois clairement là», a-t-il ajouté.
Un cadre international?
La conférence d’examen de la Convention sur certaines armes classiques (CCW) de décembre constitue une échéance cruciale pour l’adoption d’un mandat de négociation d’un instrument juridiquement contraignant pour réglementer les armes létales autonomes. Cependant, parvenir à un consensus entre les États s’avère encore difficile.
Les pays font preuve «d’une bonne volonté générale pour aller au-delà de ce qui a été convenu jusqu’ici, mais souhaitent que cela ne compromette pas les avantages potentiels que l’IA et l’autonomie pourraient leur apporter», a déclaré Giacomo Persi Paoli.
La Chine, Israël, la Russie, la Corée du Sud, les États-Unis et le Royaume-Uni comptent parmi les plus grandes forces armées du monde. Tous ont exprimé, à des degrés divers, leur désir de réglementer les armes létales autonomes au niveau national. Toutefois, beaucoup, y compris les États-Unis et la Russie, ont rejeté une interdiction pure et simple en vertu du droit international.
Bien que ces pays soient disposés à discuter de la question dans un forum international et à envisager des principes internationaux de base, la possibilité d’un accord international de réglementation dans le cadre de l’ONU est loin d’être acquise.
Beaucoup d’acteurs industriels attendent et préconisent même un cadre international. «Cela leur fournirait de précieuses lignes directrices et garantirait que les nombreuses applications des technologies qu’ils développent ne seront pas affectées négativement par les questions entourant les armes autonomes», a confié Maya Brehm (CICR).
La Campagne Stopper les Robots Tueurs est sceptique quant au fait que les États membres seront en mesure de s’entendre sur un cadre international, ou même sur le principe d’un cadre international, lors de la Conférence d’examen en décembre.
«Il suffit d’un pays qui dise non pour que rien ne se passe», a déclaré Ousman Noor. «La conséquence de cela est que vous vous retrouvez avec un accord qui est basé sur le plus petit dénominateur commun.»
La Campagne Stopper les Robots Tueurs envisage donc favorablement un accord en dehors du cadre de l’ONU, ce qui permettrait d’établir une norme pour les pays souhaitant une réglementation plus forte. Un accord extérieur de ce type fournirait aux acteurs industriels un cadre de référence, même s’ils opèrent dans un pays qui n’a pas adhéré à l’accord, a conclu Ousman Noor.
Article d’Irene Velicer pour Geneva Solutions, traduit de l’anglais par Katia Staehli