IA, cloud de combat, quantique, etc. - théories, projets, applications

[prof.566]

Le 25/10/2023 à 12:59, herciv a dit :

Le LOYAL WINGMAN est une étape indispensable pour le système de système de toute façon. 

L'intégration d'une IA est une brique techno qui doit être validée dans tous les cas.

Ce qui pose souci (validation statistique d'une IA)

[Boule75]

Il y a 13 heures, prof.566 a dit :

Ce qui pose souci (validation statistique d'une IA)

Ça dépend des fonctions, toutes ne sont pas critiques pour la sécurité du vol, n'est-ce pas ?

[Boule75]

il y a 18 minutes, LetMePickThat a dit :

L'explicabilité reste un des critères fondamentaux en navigabilité (ou en matière de systèmes d'armes en général). De plus, l'intégration toujours croissante des différentes briques logicielles rend difficile l'isolation d'un module IA à des seules fonctions non critiques. Ce n'est pas un problème spécifique au Rafale d'ailleurs, des problématiques semblables existent sur tous les programmes d'armement ou de matériel avancé, de Contact au SAMP/T NG.

Hum... Une "IA" d'assistance à l'analyse tactique serait critique par exemple ?

Si c'est juste un "plus", un dispositif qu'on peut absolument débrayer ou ignorer, qui ne se substitue à rien d'existant, et qui serait pertinent 80% du temps, neutre 15% et trompeur à des degrés variés 5% du temps : est-ce pour autant rédhibitoire ?

[g4lly]

Il y a 4 heures, Boule75 a dit :

Hum... Une "IA" d'assistance à l'analyse tactique serait critique par exemple ?

Si c'est juste un "plus", un dispositif qu'on peut absolument débrayer ou ignorer, qui ne se substitue à rien d'existant, et qui serait pertinent 80% du temps, neutre 15% et trompeur à des degrés variés 5% du temps : est-ce pour autant rédhibitoire ?

Il y a eu des soucis avec les IA par renforcement sur le sujet ... l'IA se mettant à avoir des comportements "déviant" pour obtenir sa drogue.

Si l'IA se met à mentir à l'opérateur parce que pour je ne sais quelle raison ça lui rapporte des points, ça peut vite devenir un problème.

Exemple

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”

This example, seemingly plucked from a science fiction thriller, mean that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.

[Boule75]

Il y a 3 heures, g4lly a dit :

Il y a eu des soucis avec les IA par renforcement sur le sujet ... l'IA se mettant à avoir des comportements "déviant" pour obtenir sa drogue.

Si l'IA se met à mentir à l'opérateur parce que pour je ne sais quelle raison ça lui rapporte des points, ça peut vite devenir un problème.

Exemple

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”

This example, seemingly plucked from a science fiction thriller, mean that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.

Bien compris ça mais le cas de figure décrit est à l'exact opposé de celui que j'envisageais dans le cas d'espèce, puisqu'il décrit le comportement d'une IA dont les fonctions sont absolument critiques pour le vol...

[Patrick]

il y a 50 minutes, LetMePickThat a dit :

Sans même parler de mentir, la solution machine peut être juste incompréhensible. J'ai vu des démonstrations d'IA pour de la défense multi-couche dans lesquelles l'allocation de cibles et d'effecteurs n'avait aucune logique "humaine", et n'aurait probablement pas été suivie par les opérateurs dans la vraie vie (ils auraient pensé que le système plantait). Et ce malgré le fait que cette allocation était (marginalement) plus efficace que ce qu'aurait fait un humain dans la même situation.

Cette allocation des cibles prenait-elle en compte, dans le cas de l'IA, l'éventualité d'une évolution de la situation, avec une menace qui se dévoilerait à l'improviste et réclamerait de revoir en temps réel la manière dont le système se défend? Ou bien la situation était-elle fixe et inamovible pour chaque force engagée dans chaque scénario?

[ywaDceBw4zY3tq]

Après c'est des comportements très connus en apprentissage par renforcement, il y a bcp de recherche la dessus. Le problème c'est aussi que ça percole du monde académique vers celui de la défense. L'apprentissage par renforcement profond même si il y a des jolis résultats de deepmind et compagnie ça reste des trucs de niche, a fortiori dans le monde académique public (c'est horriblement coûteux en heures de calcul), et il faut recruter dans ce petit vivier pour implémenter ces solutions.

En pus globalement, sur les machines actuelles il n'y a pas le matériel pour faire de l'inférence de réseaux de neurones. Sur Archange ils prévoient ça: https://gaci.fr/fr/marches/4-marche-aeronautique donc il y a de quoi faire tourner des réseaux de neurones modernes, a voir si c'est intégrable sur Rafale. Accessoirement c'est pas made in France, et faire des accélérateurs pour DNN performant entièrement en France ça va être difficile (a fortiori au niveau du software). La dessus peut être que l'European Processor Initiative sortira au moins du hardware pertinent pour ces applications.

Modifié le 27 octobre 2023 par ywaDceBw4zY3tq

[prof.566]

Ca mériterait un topic en soi, avec des explications de "sachants"

[ywaDceBw4zY3tq]

il y a 3 minutes, LetMePickThat a dit :

Ce n'est pas un problème pour l'industrie de défense, qui paye bien et n'a pas encore trop de soucis de captation des talents dans l'ensemble. L'utilisation de l'IA dans les systèmes de combat aériens est défrichée depuis maintenant assez longtemps, et on trouve régulièrement des papiers sur l'Automatic Target Recognition, le DL pour les commandes de vol, l'allocation optimale d'armement, etc. La défense n'a pas besoin d'être à la pointe de la recherche en IA, les problèmes posés sont, toutes choses égales par ailleurs, plus simples que ceux que l'on retrouve dans d'autres domaines.

Intéressant, je connais un peu le côté académique, et de ce que je vois l'industrie de la défense n'intéresse pas trop les gens. Pour les meilleurs profils, les GAFAM paieront mieux et te laisserons même publier une partie de ta recherche, et pour le commun des mortels l'industrie n'attire pas énormément, et elle doit faire face à des problématiques d'accréditation que les boites lambda ne rencontrent pas. Mais peut être que ce n'est pas ces profils que les boites recrutent. 

il y a 8 minutes, LetMePickThat a dit :

Pour le Rafale, je ne sais pas, mais tous les nouveaux systèmes sol (que ce soit de la DSA, du contrôle, du radar, etc) sont conçus autour d'architectures COTS ouvertes, justement dans le but d'intégrer plus facilement des briques technologiques innovantes plus tard dans leur vie opérationnelle. Aujourd'hui, à part pour les systèmes legacy qui se trainent des architectures périmées (VMEbus c'est à toi que je pense), la mise à jour matérielle des systèmes sol est relativement PnP, avec des serveurs au format baie et de l'architecture X86 classique. On trouve même du GPGPU Nvidia dans certains modules ops, pour du RN c'est assez adapté.

Super intéressant, je ne savais pas, merci pour ta correction. Les considérations ITAR ne préoccupent pas trop les industriels, surtout dans la mesure ou on voit que le gouvernement américain commence a considérer le hardware GPGPU comme qqch a usage dual qui peut faire l'objet de restriction d'exportations ? 

[R force]

il y a 38 minutes, ywaDceBw4zY3tq a dit :

le gouvernement américain commence a considérer le hardware GPGPU comme qqch a usage dual qui peut faire l'objet de restriction d'exportations ? 

Essentiellement vers la Chine j'imagine. Mais on n'est à l'abri de rien.

[ywaDceBw4zY3tq]

il y a 51 minutes, LetMePickThat a dit :

Pas vraiment. Les cursus type sont plus Supaéro/ENSMA/ESTACA avec une spécialisation data science/IA à l'intérieur d'un master aéro classique. Typiquement, il n'y a pas besoin d'avoir un chercheur de niveau bac+15 pour faire de la reconnaissance automatique de cible sur un missile anti-char, le problème de la reconnaissance des orchidées dans des images est résolu depuis bientôt dix ans maintenant.

OK, je vois. J'ai des échos un peu différents de boites comme Preligens qui recrutent pas mal a bac+8 et qui ont l'air de faire de la R&D en propre, c'est pour ça que j'avais une image différente, mais c'est probablement le monde des startups qui est différent sur ce point la. 

il y a 51 minutes, LetMePickThat a dit :

Aucune idée, mais je doute que le gouvernement américain ferme l'accès à l'Europe sur des GPU qui sont avant tout utilisés par des particuliers ou des entreprises civiles, sauf à taper sévèrement sur Nvidia, qui reste un champion national. En plus de ça, le débat actuel porte sur la fabrication en Chine de GPU, pas sur le fait de fournir des GPU déjà fabriqués à des clients, qu'ils soient civils ou militaires.  

En fait je pensais plus à  cette nouvelle très récente: https://www.bloomberg.com/news/articles/2023-10-20/nvidia-s-rtx-4090-caught-up-in-us-china-trade-war?embedded-checkout=true ou le gouvernement américain parlait de limiter l'exportation de RTX 4090. Au final ils sont revenus dessus, mais l'intention est parlante. Et il y a déjà des restrictions en place pour les modèles datacenter. C'est des limitations en terme de FLOPS donc au final Nvidia a fait une gamme spécialement pour la Chine qui rentre dans les clous

il y a 51 minutes, LetMePickThat a dit :

  Dans tous les cas, il n'y a pas d'alternative européenne, à part éventuellement STMicroélectronics, à la marge et sur des segments spécifiques, et les systèmes actuels emploient déjà des composants et architectures US.

Oui, c'est sûr. L'autre problème c'est le logiciel, aujourd'hui tout le monde utilise CUDA, donc même si tu as ton hardware maison si tu as pas les binaires CUDA pour cette plateforme c'est compliqué. 

Modifié le 27 octobre 2023 par ywaDceBw4zY3tq

[Jean-Yves]

Je pense que la Chine va parvenir à terme à se défaire de l'emprise US dans les composants et le logiciel, grâce à une planification efficace de long terme.

 

Je pense que nous pourrions y parvenir aussi en Europe, mais il nous manque l'outil principal pour aller vite : la planification.

Je regrette que l'on ait laissé mourir la distribution française Mandriva qui aurait pu servir de base à un OS souverain.

[Boule75]

Il y a 7 heures, LetMePickThat a dit :

Pour le débrayer, il faudrait que l'opérateur soit en mesure d'évaluer, en live, la pertinence des informations tactiques proposées, avec en permanence un doute sur la qualité des recommandations offertes par le système. Et, dans le cas où une recommandation suivie se traduirait par un échec mission (5% étant un taux d'échec absolument énorme, d'ailleurs), il ne serait pas nécessairement possible d'expliquer pourquoi cette recommandation a été émise. 

Donc oui, ça serait considéré comme critique.

EDIT: en plus de ça, une solution à un problème donné peut apparaître limpide pour une IA, et incompréhensible pour un humain. On peut arriver à des comportements complètement aliens dont la transcription en actions n'a pas de sens pour un opérateur.

Toujours dubitatif.

Soit un NOSA qui bénéficie d'une aide optionnelle à l'interprétation tactique ; si rien ne l'oblige à l'utiliser, s'il est formé à l'utiliser comme à s'en passer, si elle lui apporte des informations utiles totalement inaccessibles autrement 80% du temps, et le trompe 1% du temps, faut-il considérer que la solution est inadmissible ? A mon sens il y a vraiment des arbitrages à faire.

En outre, il y a vraiment matière à progrès continu en matière d'IA : même si la version embarquée est figée, on peut imaginer stocker systématiquement les données des capteurs lors de vols d'exercices pour affiner les retex et nourrir le modèle d'inférence (non-figé) de retours utiles. C'est, je parie, ce que tentent les USA avec le F-35 et les torrents supposés de données qu'il déverse à chaque retour de mission. Ca suppose beaucoup de stockage embarqué et en central, du réseau, et surtout une organisation technique et humaine en béton autour pour qualifier les retours et laisser le modèle "apprendre".

Modifié le 27 octobre 2023 par Boule75

[Boule75]

@LetMePickThat : à dire vrai je pensais à l'IA pour suivre des données (détection d'émissions, images au sol, pistes ou autres transmises par des tiers), pour faire le tri, présenter des synthèses d'information sur demande, le tout visant non pas à proposer des solutions tactiques mais plus à aider à cette prise de décision. Représentation des bulles de détection, interprétation des menaces, aide au ciblage, suivi des missiles déjà partis ou des drones amis et ennemis, suivi des consommations de tout le monde, simulations de trajectoires ou de trajets, optimisations en situation dégradée ou pas, etc...

Modifié le 27 octobre 2023 par Boule75

[faltenin1]

Le 27/10/2023 à 04:35, g4lly a dit :

Il y a eu des soucis avec les IA par renforcement sur le sujet ... l'IA se mettant à avoir des comportements "déviant" pour obtenir sa drogue.

Si l'IA se met à mentir à l'opérateur parce que pour je ne sais quelle raison ça lui rapporte des points, ça peut vite devenir un problème.

Exemple

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”

This example, seemingly plucked from a science fiction thriller, mean that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.

J'ai un gros doute sur la véracité de ce genre d'histoire. Elle ne semble même pas avoir de cohérence interne. Parce qu'elle suppose que l'IA a obtenu de l'opérateur l'autorisation de lui tirer dessus ou de tirer sur la tour de communication.

De plus il serait réellement facile d'interdire à une IA de tirer sur ses alliés en mettant un poids prohibitif sur les liens et sorties adéquats.

Modifié le 28 octobre 2023 par faltenin1
Orthographe

[Cyrano500]

il y a 51 minutes, faltenin1 a dit :

J'ai un gros doute sur la véracité de ce genre d'histoire. Elle ne semble même pas avoir de cohérence interne. Parce qu'elle suppose que l'IA a obtenu de l'opérateur l'autorisation de lui tirer dessus ou de tirer sur la tour de communication.

De plus il serait réellement facile d'interdire à une IA de tirer sur ses alliés en mettant un poids prohibitif sur les liens et sorties adéquats.

(dans l'article)

" the 'rogue AI drone simulation' was a hypothetical "thought experiment" from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation "

"He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated)"

[prof.566]

Je cite le directeur des affaires militaires et spatiales de DA : une sorte de R2D2

[g4lly]

Il y a 2 heures, faltenin1 a dit :

De plus il serait réellement facile d'interdire à une IA de tirer sur ses alliés en mettant un poids prohibitif sur les liens et sorties adéquats.

C'est justement ce qu'ils ont fait ... et l'automate n'a plus tiré sur l'opérateur, mais à coupé les com' de l'opérateur à la place. Si tu lui interdit de couper les com' il valorisera une autre stratégie pour arriver à un résultat valorisant ...

... le IA ne sont pas doté de sens commun donc c'est la porte ouverte à tous les étages et tu ne peux pas anticiper pour fermer toutes les portes puisque tu ne sais même pas quelles existent à la base.

[faltenin1]

Il y a 3 heures, g4lly a dit :

C'est justement ce qu'ils ont fait ... et l'automate n'a plus tiré sur l'opérateur, mais à coupé les com' de l'opérateur à la place. Si tu lui interdit de couper les com' il valorisera une autre stratégie pour arriver à un résultat valorisant ...

... le IA ne sont pas doté de sens commun donc c'est la porte ouverte à tous les étages et tu ne peux pas anticiper pour fermer toutes les portes puisque tu ne sais même pas quelles existent à la base.

Je ne crois pas que ce soit comme ça que ça marche. Une IA n'ouvre pas de porte que tu n'aies introduite dans le système. Pour que l'IA puisse couper les communications de l'opérateur il faut qu'elles aient été instancées comme des objets destructibles dans la simulation, et que l'IA n'aie pas l'interdiction absolue de faire du blue on blue. Ce qui me semble douteux. On pourrait imaginer qu'il lui suffirait de laisser l'ennemi détruire son opérateur mais cela suggère que cette action arrive suffisamment souvent dans la simulation de façon native pour que cela ait un poids sur la réussite globale sur des milliers d'époques d'entrainement et cela me semble également douteux.

 

[PolluxDeltaSeven]

Un nouveau topic pour centraliser les derniers HS du fil Rafale. On reste ici ET UNIQUEMENT ICI pour parler de ces aspects.

[Obelix38]

Puisqu'il y a maintenant un topic dédié à ces problèmes d'IA, j'aimerais vous partager une très intéressante vidéo sur le développement d'une IA (par apprentissage) pour jouer à un jeu de voiture nommé Trackmania.

Et comme vous allez le voir, même si le but (aller le plus vite possible), les commandes (gauche, droite, accélérer, freiner) et les quelques circuits abordées (en 2D) semblent très simples de prime abord, il lui aura fallu 3 ans pour produire quelque-chose de suffisamment correct pour battre un humain . . . Alors imaginez la complexité avec des buts multiples et hiérarchisés, dans un environnement complexe et en 3D, et avec des "commandes" (de vol, mais aussi du système d'arme) bien plus nombreuses pour une IA d'un aéronef de combat . . .

 

[R force]

Le 26/10/2023 à 10:17, prof.566 a dit :

Ce qui pose souci (validation statistique d'une IA)

J'ai lu il y a quelques petites années qu'il n'est pas possible en l'état actuel des réglementations civiles de qualifier une IA par exemple pour piloter un avion : le "processus" de décision de l'IA n'étant pas anticipable à 100%. (désolé pour mon verbiage qui n'est peut être pas très pro : c'est pas du tout mon domaine de connaissance).

Mais les choses vont évoluer, c'est évident.

[R force]

Il y a 15 heures, Obelix38 a dit :

Puisqu'il y a maintenant un topic dédié à ces problèmes d'IA, j'aimerais vous partager une très intéressante vidéo sur le développement d'une IA (par apprentissage) pour jouer à un jeu de voiture nommé Trackmania.

Et comme vous allez le voir, même si le but (aller le plus vite possible), les commandes (gauche, droite, accélérer, freiner) et les quelques circuits abordées (en 2D) semblent très simples de prime abord, il lui aura fallu 3 ans pour produire quelque-chose de suffisamment correct pour battre un humain . . . Alors imaginez la complexité avec des buts multiples et hiérarchisés, dans un environnement complexe et en 3D, et avec des "commandes" (de vol, mais aussi du système d'arme) bien plus nombreuses pour une IA d'un aéronef de combat . . .

 

Ca dépend peut être des moyens alloués à l'IA pour "apprendre" ?   si on y met les ressources derrière ce 3 ans pourraient peut être être 3 semaines.

[R force]

Il y a 3 heures, LetMePickThat a dit :

@Boule75 a très bien souligné le problème au début du fil. Le souci n'est pas tant la difficulté à anticiper à 100% que l'impossibilité d'expliquer les raisons de l'échec potentiel. Avec des algos d'IA qui atteignent des performances égales ou meilleures que les algos classiques, il y aura nécessairement un arbitrage à faire à un moment entre un système classique fiable 95% du temps et explicable 100% du temps (y compris dans les 5% d'échec) et un système IA fiable à 99% mais explicable à 0% (et donc avec une impossibilité d'expliquer le 1% d'échec).

Ce qui est frustrant c'est lorsque les systèmes font globalement mieux que l'opérateur humain.

Je crois que le taux d'accident mortel des Tesla en mode automatique est moins de la moitié de celui des véhicules conduits par nous autres pauvres mortels.  Et ca ne fera que s'améliorer.  Y a surement des causes très objectives (la Tesla en auto respecte les vitesses, elle. etc...) mais explique elle le tout, je n'en suis pas certain.

[Ronfly]

Déclaration CEMA:

..."La souveraineté numérique est essentielle, mais il convient d’être pragmatique dans ce domaine. Nous ne devons pas choisir des options singulières au détriment de l’efficacité et qui aboutiraient à un manque d’interopérabilité avec les autres pays. L’idéal consiste à travailler avec nos partenaires européens, ce qui passe par une harmonisation des rôles de chacun. Nous devons agir avec pragmatisme et réalisme."...