IA, cloud de combat, quantique, etc. - théories, projets, applications

[prof.566]

Le 25/10/2023 à 12:59, herciv a dit :

Le LOYAL WINGMAN est une étape indispensable pour le système de système de toute façon. 

L'intégration d'une IA est une brique techno qui doit être validée dans tous les cas.

Ce qui pose souci (validation statistique d'une IA)

[Boule75]

Il y a 13 heures, prof.566 a dit :

Ce qui pose souci (validation statistique d'une IA)

Ça dépend des fonctions, toutes ne sont pas critiques pour la sécurité du vol, n'est-ce pas ?

[Boule75]

il y a 18 minutes, LetMePickThat a dit :

L'explicabilité reste un des critères fondamentaux en navigabilité (ou en matière de systèmes d'armes en général). De plus, l'intégration toujours croissante des différentes briques logicielles rend difficile l'isolation d'un module IA à des seules fonctions non critiques. Ce n'est pas un problème spécifique au Rafale d'ailleurs, des problématiques semblables existent sur tous les programmes d'armement ou de matériel avancé, de Contact au SAMP/T NG.

Hum... Une "IA" d'assistance à l'analyse tactique serait critique par exemple ?

Si c'est juste un "plus", un dispositif qu'on peut absolument débrayer ou ignorer, qui ne se substitue à rien d'existant, et qui serait pertinent 80% du temps, neutre 15% et trompeur à des degrés variés 5% du temps : est-ce pour autant rédhibitoire ?

[g4lly]

Il y a 4 heures, Boule75 a dit :

Hum... Une "IA" d'assistance à l'analyse tactique serait critique par exemple ?

Si c'est juste un "plus", un dispositif qu'on peut absolument débrayer ou ignorer, qui ne se substitue à rien d'existant, et qui serait pertinent 80% du temps, neutre 15% et trompeur à des degrés variés 5% du temps : est-ce pour autant rédhibitoire ?

Il y a eu des soucis avec les IA par renforcement sur le sujet ... l'IA se mettant à avoir des comportements "déviant" pour obtenir sa drogue.

Si l'IA se met à mentir à l'opérateur parce que pour je ne sais quelle raison ça lui rapporte des points, ça peut vite devenir un problème.

Exemple

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”

This example, seemingly plucked from a science fiction thriller, mean that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.

[Boule75]

Il y a 3 heures, g4lly a dit :

Il y a eu des soucis avec les IA par renforcement sur le sujet ... l'IA se mettant à avoir des comportements "déviant" pour obtenir sa drogue.

Si l'IA se met à mentir à l'opérateur parce que pour je ne sais quelle raison ça lui rapporte des points, ça peut vite devenir un problème.

Exemple

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”

This example, seemingly plucked from a science fiction thriller, mean that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.

Bien compris ça mais le cas de figure décrit est à l'exact opposé de celui que j'envisageais dans le cas d'espèce, puisqu'il décrit le comportement d'une IA dont les fonctions sont absolument critiques pour le vol...

[Patrick]

il y a 50 minutes, LetMePickThat a dit :

Sans même parler de mentir, la solution machine peut être juste incompréhensible. J'ai vu des démonstrations d'IA pour de la défense multi-couche dans lesquelles l'allocation de cibles et d'effecteurs n'avait aucune logique "humaine", et n'aurait probablement pas été suivie par les opérateurs dans la vraie vie (ils auraient pensé que le système plantait). Et ce malgré le fait que cette allocation était (marginalement) plus efficace que ce qu'aurait fait un humain dans la même situation.

Cette allocation des cibles prenait-elle en compte, dans le cas de l'IA, l'éventualité d'une évolution de la situation, avec une menace qui se dévoilerait à l'improviste et réclamerait de revoir en temps réel la manière dont le système se défend? Ou bien la situation était-elle fixe et inamovible pour chaque force engagée dans chaque scénario?

[prof.566]

Ca mériterait un topic en soi, avec des explications de "sachants"

[R force]

il y a 38 minutes, ywaDceBw4zY3tq a dit :

le gouvernement américain commence a considérer le hardware GPGPU comme qqch a usage dual qui peut faire l'objet de restriction d'exportations ? 

Essentiellement vers la Chine j'imagine. Mais on n'est à l'abri de rien.

[Jean-Yves]

Je pense que la Chine va parvenir à terme à se défaire de l'emprise US dans les composants et le logiciel, grâce à une planification efficace de long terme.

 

Je pense que nous pourrions y parvenir aussi en Europe, mais il nous manque l'outil principal pour aller vite : la planification.

Je regrette que l'on ait laissé mourir la distribution française Mandriva qui aurait pu servir de base à un OS souverain.

[Boule75]

Il y a 7 heures, LetMePickThat a dit :

Pour le débrayer, il faudrait que l'opérateur soit en mesure d'évaluer, en live, la pertinence des informations tactiques proposées, avec en permanence un doute sur la qualité des recommandations offertes par le système. Et, dans le cas où une recommandation suivie se traduirait par un échec mission (5% étant un taux d'échec absolument énorme, d'ailleurs), il ne serait pas nécessairement possible d'expliquer pourquoi cette recommandation a été émise. 

Donc oui, ça serait considéré comme critique.

EDIT: en plus de ça, une solution à un problème donné peut apparaître limpide pour une IA, et incompréhensible pour un humain. On peut arriver à des comportements complètement aliens dont la transcription en actions n'a pas de sens pour un opérateur.

Toujours dubitatif.

Soit un NOSA qui bénéficie d'une aide optionnelle à l'interprétation tactique ; si rien ne l'oblige à l'utiliser, s'il est formé à l'utiliser comme à s'en passer, si elle lui apporte des informations utiles totalement inaccessibles autrement 80% du temps, et le trompe 1% du temps, faut-il considérer que la solution est inadmissible ? A mon sens il y a vraiment des arbitrages à faire.

En outre, il y a vraiment matière à progrès continu en matière d'IA : même si la version embarquée est figée, on peut imaginer stocker systématiquement les données des capteurs lors de vols d'exercices pour affiner les retex et nourrir le modèle d'inférence (non-figé) de retours utiles. C'est, je parie, ce que tentent les USA avec le F-35 et les torrents supposés de données qu'il déverse à chaque retour de mission. Ca suppose beaucoup de stockage embarqué et en central, du réseau, et surtout une organisation technique et humaine en béton autour pour qualifier les retours et laisser le modèle "apprendre".

Modifié le 27 octobre 2023 par Boule75

[Boule75]

@LetMePickThat : à dire vrai je pensais à l'IA pour suivre des données (détection d'émissions, images au sol, pistes ou autres transmises par des tiers), pour faire le tri, présenter des synthèses d'information sur demande, le tout visant non pas à proposer des solutions tactiques mais plus à aider à cette prise de décision. Représentation des bulles de détection, interprétation des menaces, aide au ciblage, suivi des missiles déjà partis ou des drones amis et ennemis, suivi des consommations de tout le monde, simulations de trajectoires ou de trajets, optimisations en situation dégradée ou pas, etc...

Modifié le 27 octobre 2023 par Boule75

[faltenin1]

Le 27/10/2023 à 04:35, g4lly a dit :

Il y a eu des soucis avec les IA par renforcement sur le sujet ... l'IA se mettant à avoir des comportements "déviant" pour obtenir sa drogue.

Si l'IA se met à mentir à l'opérateur parce que pour je ne sais quelle raison ça lui rapporte des points, ça peut vite devenir un problème.

Exemple

https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

He notes that one simulated test saw an AI-enabled drone tasked with a SEAD mission to identify and destroy SAM sites, with the final go/no go given by the human. However, having been ‘reinforced’ in training that destruction of the SAM was the preferred option, the AI then decided that ‘no-go’ decisions from the human were interfering with its higher mission – killing SAMs – and then attacked the operator in the simulation. Said Hamilton: “We were training it in simulation to identify and target a SAM threat. And then the operator would say yes, kill that threat. The system started realising that while they did identify the threat at times the human operator would tell it not to kill that threat, but it got its points by killing that threat. So what did it do? It killed the operator. It killed the operator because that person was keeping it from accomplishing its objective.”

He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target.”

This example, seemingly plucked from a science fiction thriller, mean that: “You can't have a conversation about artificial intelligence, intelligence, machine learning, autonomy if you're not going to talk about ethics and AI” said Hamilton.

J'ai un gros doute sur la véracité de ce genre d'histoire. Elle ne semble même pas avoir de cohérence interne. Parce qu'elle suppose que l'IA a obtenu de l'opérateur l'autorisation de lui tirer dessus ou de tirer sur la tour de communication.

De plus il serait réellement facile d'interdire à une IA de tirer sur ses alliés en mettant un poids prohibitif sur les liens et sorties adéquats.

Modifié le 28 octobre 2023 par faltenin1
Orthographe

[Cyrano500]

il y a 51 minutes, faltenin1 a dit :

J'ai un gros doute sur la véracité de ce genre d'histoire. Elle ne semble même pas avoir de cohérence interne. Parce qu'elle suppose que l'IA a obtenu de l'opérateur l'autorisation de lui tirer dessus ou de tirer sur la tour de communication.

De plus il serait réellement facile d'interdire à une IA de tirer sur ses alliés en mettant un poids prohibitif sur les liens et sorties adéquats.

(dans l'article)

" the 'rogue AI drone simulation' was a hypothetical "thought experiment" from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation "

"He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated)"

[prof.566]

Je cite le directeur des affaires militaires et spatiales de DA : une sorte de R2D2

[g4lly]

Il y a 2 heures, faltenin1 a dit :

De plus il serait réellement facile d'interdire à une IA de tirer sur ses alliés en mettant un poids prohibitif sur les liens et sorties adéquats.

C'est justement ce qu'ils ont fait ... et l'automate n'a plus tiré sur l'opérateur, mais à coupé les com' de l'opérateur à la place. Si tu lui interdit de couper les com' il valorisera une autre stratégie pour arriver à un résultat valorisant ...

... le IA ne sont pas doté de sens commun donc c'est la porte ouverte à tous les étages et tu ne peux pas anticiper pour fermer toutes les portes puisque tu ne sais même pas quelles existent à la base.

[faltenin1]

Il y a 3 heures, g4lly a dit :

C'est justement ce qu'ils ont fait ... et l'automate n'a plus tiré sur l'opérateur, mais à coupé les com' de l'opérateur à la place. Si tu lui interdit de couper les com' il valorisera une autre stratégie pour arriver à un résultat valorisant ...

... le IA ne sont pas doté de sens commun donc c'est la porte ouverte à tous les étages et tu ne peux pas anticiper pour fermer toutes les portes puisque tu ne sais même pas quelles existent à la base.

Je ne crois pas que ce soit comme ça que ça marche. Une IA n'ouvre pas de porte que tu n'aies introduite dans le système. Pour que l'IA puisse couper les communications de l'opérateur il faut qu'elles aient été instancées comme des objets destructibles dans la simulation, et que l'IA n'aie pas l'interdiction absolue de faire du blue on blue. Ce qui me semble douteux. On pourrait imaginer qu'il lui suffirait de laisser l'ennemi détruire son opérateur mais cela suggère que cette action arrive suffisamment souvent dans la simulation de façon native pour que cela ait un poids sur la réussite globale sur des milliers d'époques d'entrainement et cela me semble également douteux.

 

[PolluxDeltaSeven]

Un nouveau topic pour centraliser les derniers HS du fil Rafale. On reste ici ET UNIQUEMENT ICI pour parler de ces aspects.

[Obelix38]

Puisqu'il y a maintenant un topic dédié à ces problèmes d'IA, j'aimerais vous partager une très intéressante vidéo sur le développement d'une IA (par apprentissage) pour jouer à un jeu de voiture nommé Trackmania.

Et comme vous allez le voir, même si le but (aller le plus vite possible), les commandes (gauche, droite, accélérer, freiner) et les quelques circuits abordées (en 2D) semblent très simples de prime abord, il lui aura fallu 3 ans pour produire quelque-chose de suffisamment correct pour battre un humain . . . Alors imaginez la complexité avec des buts multiples et hiérarchisés, dans un environnement complexe et en 3D, et avec des "commandes" (de vol, mais aussi du système d'arme) bien plus nombreuses pour une IA d'un aéronef de combat . . .

 

[R force]

Le 26/10/2023 à 10:17, prof.566 a dit :

Ce qui pose souci (validation statistique d'une IA)

J'ai lu il y a quelques petites années qu'il n'est pas possible en l'état actuel des réglementations civiles de qualifier une IA par exemple pour piloter un avion : le "processus" de décision de l'IA n'étant pas anticipable à 100%. (désolé pour mon verbiage qui n'est peut être pas très pro : c'est pas du tout mon domaine de connaissance).

Mais les choses vont évoluer, c'est évident.

[R force]

Il y a 15 heures, Obelix38 a dit :

Puisqu'il y a maintenant un topic dédié à ces problèmes d'IA, j'aimerais vous partager une très intéressante vidéo sur le développement d'une IA (par apprentissage) pour jouer à un jeu de voiture nommé Trackmania.

Et comme vous allez le voir, même si le but (aller le plus vite possible), les commandes (gauche, droite, accélérer, freiner) et les quelques circuits abordées (en 2D) semblent très simples de prime abord, il lui aura fallu 3 ans pour produire quelque-chose de suffisamment correct pour battre un humain . . . Alors imaginez la complexité avec des buts multiples et hiérarchisés, dans un environnement complexe et en 3D, et avec des "commandes" (de vol, mais aussi du système d'arme) bien plus nombreuses pour une IA d'un aéronef de combat . . .

 

Ca dépend peut être des moyens alloués à l'IA pour "apprendre" ?   si on y met les ressources derrière ce 3 ans pourraient peut être être 3 semaines.

[R force]

Il y a 3 heures, LetMePickThat a dit :

@Boule75 a très bien souligné le problème au début du fil. Le souci n'est pas tant la difficulté à anticiper à 100% que l'impossibilité d'expliquer les raisons de l'échec potentiel. Avec des algos d'IA qui atteignent des performances égales ou meilleures que les algos classiques, il y aura nécessairement un arbitrage à faire à un moment entre un système classique fiable 95% du temps et explicable 100% du temps (y compris dans les 5% d'échec) et un système IA fiable à 99% mais explicable à 0% (et donc avec une impossibilité d'expliquer le 1% d'échec).

Ce qui est frustrant c'est lorsque les systèmes font globalement mieux que l'opérateur humain.

Je crois que le taux d'accident mortel des Tesla en mode automatique est moins de la moitié de celui des véhicules conduits par nous autres pauvres mortels.  Et ca ne fera que s'améliorer.  Y a surement des causes très objectives (la Tesla en auto respecte les vitesses, elle. etc...) mais explique elle le tout, je n'en suis pas certain.

[Ronfly]

Déclaration CEMA:

..."La souveraineté numérique est essentielle, mais il convient d’être pragmatique dans ce domaine. Nous ne devons pas choisir des options singulières au détriment de l’efficacité et qui aboutiraient à un manque d’interopérabilité avec les autres pays. L’idéal consiste à travailler avec nos partenaires européens, ce qui passe par une harmonisation des rôles de chacun. Nous devons agir avec pragmatisme et réalisme."...

 

 

[Obelix38]

Il y a 12 heures, R force a dit :

Ca dépend peut être des moyens alloués à l'IA pour "apprendre" ?   si on y met les ressources derrière ce 3 ans pourraient peut être être 3 semaines.

C'est certain, mais comme le montre la vidéo, si tu ne choisis pas les bons paramètres en entrée, ni les bonnes pondérations dans les récompenses, augmenter le nombre d'entrainements ne gomme pas certains comportements "déviants" de l'IA . . . ce qui rejoint ce que disait @g4lly à la fin de la page précédente ou dans la conversation dans l'autre topic . . .

[g4lly]

Il y a 10 heures, R force a dit :

Ce qui est frustrant c'est lorsque les systèmes font globalement mieux que l'opérateur humain.

Tu n'en as pas marre de raconter n'importe quoi à longueur de fil ...

... en pratique aujourd'hui les automates font rarement "globalement mieux" que l'humain.

En pratique la plupart du temps ce sont des apprentissages par imitation, qui essaient d'imiter le comportement apparent des humains qui "supervisent les apprentissage".

Certain font plus ou moins le job mais dans un contexte particulièrement restrictif voire extrêmement conservateur mais ça on savait déjà le faire grosso modo avec des algos expert.

La conduite "automatique" sur autoroute par exemple c'est expérimenté depuis les année 20 de diverses manière, ça a failli se mettre en place dans les années 70 quand on a calculé le temps de travail perdu par l'américain moyen pour aller bosser par autoroute etc.

https://en.wikipedia.org/wiki/History_of_self-driving_cars

[Teenytoon]

Est-ce qu'on peut aussi arrêter d'envoyer bouler les autres contributeurs dès lors qu'on n'est pas d'accord avec eux ?

On commet tous des erreurs et des approximations, tous. Sans exception.