La technologie contre la démocratie ?

[Boule75]

il y a une heure, g4lly a dit :

Tu l'aimes quand il fait le gorille hein?

C'est ça d'être juge, que veux-tu ?

[Wallaby]

21 décembre 2019.

Toujours sur la  chaîne publique néerlandaise VPRO : « La professeur de Harvard Shoshana Zuboff a écrit un livre monumental sur le nouvel ordre économique qui est alarmant. "The Age of Surveillance Capitalism" ».

44:20 Ne soyons pas naïfs : vous mettez les mauvaises personnes en charge de notre gouvernement à tout moment et aussitôt ils vont regarder par-dessus leur épaule les riches possibilités de contrôle offertes par ce nouveau système et il y en aura un jour, et même à l'Ouest, même dans nos sociétés démocratiques, notre gouvernement sera tenté d'annexer ces capacités et de les utiliser sur nous et contre nous. Ne soyons pas naïfs à ce sujet.

Lorsque nous décidons de résister au capitalisme de surveillance en ce moment alors qu'il vit dans la dynamique du marché, nous sommes également en train de préserver notre avenir démocratique et les types de contrôles et d'équilibres dont nous aurons besoin à l'avenir dans une civilisation de l'information, si nous voulons préserver la liberté et la démocratie pour une autre génération.

[Wallaby]

https://www.huffingtonpost.fr/entry/la-ville-de-bitche-en-moselle-censuree-par-facebook-a-cause-de-son-nom_fr_60754bbde4b08f435f2419bf (13 avril 2021)

La ville de Bitche en Moselle censurée

D’après l’AFP, Facebook France concède une “analyse incorrecte de la part de nos systèmes”, qui bannissent automatiquement les insultes sur les comptes.

Dans un communiqué diffusé avant la republication de la page, [le maire] explique que “ce qui arrive aujourd’hui à la Ville de Bitche démontre l’insuffisance et les limites des outils de modération que seul un regard humain peut apprécier”.

L’élu invite le patron du géant du numérique, Mark Zuckerberg, à se rendre à Bitche pour “découvrir notre jolie cité fortifiée” et “honorer [...] la mémoire de ses compatriotes [...] américains qui sous la bannière de la 100ème Division d’Infanterie” ont libéré Bitche en 1945. Des “libérateurs qui se sont alors eux-mêmes dénommés, avec fierté et ironie, the ‘Sons of Bitche’”, glisse Benoit Kieffer.

Modifié le 13 avril 2021 par Wallaby

[Wallaby]

https://www.telerama.fr/debats-reportages/intelligence-artificielle-leurope-face-aux-apprentis-sorciers-6865602.php (22 avril 2021)

La physiognomonie est par exemple à l’origine de la start-up Clearview AI, l’épouvantail de la reconnaissance faciale, aujourd’hui poursuivie aux États-Unis pour avoir illégalement bâti une base de données de 3 milliards de visages. Appelant récemment à une régulation drastique de l’identification des affects, la chercheuse australienne Kate Crawford évoquait la nécessité de résister à « la pulsion phrénologique », un autre charlatanisme selon lequel nos caractères dépendent de la forme de notre crâne : « Nous devons rejeter la mythologie selon laquelle nos états d’âme sont un jeu de données qu’on pourrait extraire de nos visages. » Le pays moteur dans ce secteur infréquentable ? La Chine.

[Kelkin]

Le 13/04/2021 à 12:55, Wallaby a dit :

La ville de Bitche en Moselle censurée

C'est un nouvel exemple du problème de Scunthorpe.

[Wallaby]

https://www.theguardian.com/uk-news/2021/apr/23/court-clears-39-post-office-staff-convicted-due-to-corrupt-data

https://www.theguardian.com/business/2021/apr/26/ex-post-office-head-apologises-to-workers-after-convictions-quashed

L'ancienne directrice de la poste, Paula Vennells démissionne de ses fonctions actuelles. Elle est accusée d'avoir poursuivi les accusations de malversation contre d'anciens employés de la poste alors même qu'elle aurait dû savoir que le logiciel sur lequel était basé les accusations était défaillant.

Les militants estiment que jusqu'à 900 opérateurs, souvent connus sous le nom de "sous-directeurs de poste", ont pu être poursuivis et condamnés entre 2000 et 2014 après que le système informatique Horizon installé par la Poste et fourni par Fujitsu a faussement suggéré qu'il y avait des manques de liquidités.

En présentant Horizon comme fiable et en refusant d'admettre toute suggestion contraire, POL [Post Office Limited] a effectivement cherché à renverser la charge de la preuve : elle a traité ce qui n'était rien de plus qu'un manque à gagner révélé par un système comptable peu fiable comme une perte incontestable, et a procédé comme s'il appartenait à l'accusé de prouver qu'une telle perte n'avait pas eu lieu.

Le tout adossé à cette stalinienne invention qu'est le plaider-coupable :

Vijar Parekh, 62 ans, qui a passé six mois en prison après avoir plaidé coupable, sur les conseils de son avocat, d'avoir dérobé 78 000 £, a déclaré après le jugement de vendredi qu'il n'avait pas pu trouver de travail en raison de son casier judiciaire. "Maintenant, il aura été effacé et je pourrais chercher un emploi, mais j'ai atteint l'âge de la retraite", a-t-il déclaré.

Modifié le 26 avril 2021 par Wallaby

[Wallaby]

13 avril 2021 (extraits, 2 minutes)

Yuval Noah Harari : dans de plus en plus de professions, nous sommes susceptibles de voir l'IA empiéter sur le domaine humain et, pour en rester au domaine financier, je pense que même aujourd'hui, il est juste de dire que le nombre de personnes qui comprennent vraiment comment le système financier fonctionne, est inférieur à un pour cent des personnes sur terre et c'est une estimation très généreuse je pense.

Dans 20 ans, le nombre de personnes qui comprendront le fonctionnement du système financier pourrait être exactement nul. Il sera si compliqué, si rapide, si dominé par ces algorithmes de plus en plus sophistiqués, qu'aucun être humain ne sera capable de comprendre réellement ce qui se passe sur les marchés financiers. Nous pourrions encore avoir un humain comme président des États-Unis, mais ce président recevra un appel de l'IA à deux heures du matin : cher président, nous sommes confrontés à une crise financière, nous sommes confrontés à une catastrophe financière ; je la vois venir, je ne peux pas vous expliquer pourquoi parce que vous êtes un humain. Vous ne pouvez pas le comprendre, mais croyez-moi, une tempête financière se prépare ; j'ai analysé toutes les données et vous devez faire cela, mais je ne peux pas vous expliquer pourquoi parce que vous êtes un humain.

Daniel Kahneman : Il n'y a pas de plus gros problème que cette possibilité. Si la nature humaine va changer ou si les décisions humaines vont être supplantées par une intelligence non humaine comme vous le disiez, rien de cette importance n'est jamais arrivé, je pense, dans l'histoire de l'humanité et nous n'y sommes pas préparés. Peu importe si ces robots ou IA auront ou non des émotions : ils seront programmés pour avoir des objectifs et la question de savoir comment programmer l'IA pour qu'elle ait des objectifs compatibles avec les intérêts humains est une question extrêmement intéressante qui préoccupe certaines personnes très très compétentes dans le domaine de l'IA.

(débat complet, 1h30)

1:16:13 Yuval Noah Harari : Vous savez, la guerre nucléaire est extrêmement effrayante, mais au moins personne ne la souhaite et la seule question est de savoir comment l'empêcher. L'objectif est clair. Et c'est la même chose avec le changement climatique. Personne ne souhaite le changement climatique et l'effondrement écologique. Certains disent que c'est un mythe, mais même eux ne l'aiment pas. Ils disent simplement que ce n'est pas réel. Maintenant, avec la rupture technologique, c'est très différent. Beaucoup de gens travaillent très dur pour accélérer ces choses. Pour certains d'entre nous, ce sont des cauchemars, pour eux, ce pourrait être des rêves. Et il n'y a pas de consensus sur ce qui est la fin souhaitée. L'IA arrive. Ce qu'il faut en faire, il n'y a pas de consensus. Elle va changer le sens même de ce que signifie être humain, donc au moins intellectuellement, c'est un défi beaucoup plus compliqué.

1:25:26 Nous nous intéressons au cerveau parce que nous pensons qu'il est la porte de l'esprit. Je pense que nous sommes dans une course. Qui va pirater l'esprit humain en premier ? Et si l'IA le fait en premier, la partie est terminée. Et pour nous protéger, mieux nous comprenons notre propre esprit, c'est la seule sauvegarde potentielle. Ma vision de l'histoire est qu'en fin de compte, la force la plus puissante de l'histoire, du moins jusqu'à aujourd'hui, ce sont les histoires fictives. C'est ce qui a uni des millions de personnes. Vous ne pouvez pas unir les gens avec la science. Ce n'est pas assez intéressant. Ce n'est pas assez facile à comprendre. Il faut une bonne histoire. Et ce que nous voyons maintenant est une sorte de crise de l'imagination. Même la science-fiction. Trop d'intrigues de science-fiction sont axées sur les mauvaises choses. Vous avez tant de films sur la rébellion de robots qui viennent nous tuer, mais très peu de films sur les robots qui gèrent le système financier d'une manière que nous ne comprenons pas. Ce que je dis habituellement aux scientifiques, c'est de penser à l'homme politique que vous détestez le plus dans votre pays ou dans le monde, puis de penser à ce qu'il ou elle fera avec votre invention.

[Wallaby]

https://theconversation.com/in-an-ai-world-we-need-to-teach-students-how-to-work-with-robot-writers-157508 (9 avril 2021)

Il existe d'autres outils numériques tels que les paraphraseurs et les réécriveurs qui peuvent générer jusqu'à 1 000 articles à partir d'un seul article de départ, chacun d'entre eux étant substantiellement unique. Quillbot et WordAI, par exemple, peuvent réécrire rapidement un texte et rendre difficile la détection du plagiat.

Les dirigeants d'écoles et d'universités doivent mener une réflexion difficile sur ce qui constitue la "paternité" et la "rédaction" à l'ère post-humaine. Nous écrivons tous (déjà) avec des machines, ne serait-ce que par le biais des correcteurs orthographiques et grammaticaux.

Des outils tels que Turnitin - développés à l'origine pour détecter le plagiat - utilisent déjà des moyens plus sophistiqués pour déterminer qui a écrit un texte en reconnaissant l'"empreinte digitale" unique d'un auteur humain. Il s'agit notamment de vérifier électroniquement un travail soumis par un étudiant en le comparant à ses travaux antérieurs.

De nombreux étudiants écrivains utilisent déjà des outils d'écriture IA.

Les rédacteurs IA travaillent à la vitesse de l'éclair. Ils peuvent écrire dans plusieurs langues et fournir des images, créer des métadonnées, des titres, des pages de destination, des publicités Instagram, des idées de contenu, des extensions de puces et des textes optimisés pour les moteurs de recherche, le tout en quelques secondes. Les étudiants doivent exploiter ces capacités de la machine, en tant que rédacteurs pour les plateformes et les publics numériques.

L'évaluation devrait peut-être se concentrer davantage sur les capacités des étudiants à utiliser habilement ces outils au lieu, ou du moins en plus, de la poursuite de l'écriture humaine "pure".

Les meilleurs rédacteurs d'IA sont plus chers et sont disponibles sous forme de forfaits mensuels ou de paiements uniques élevés que les familles aisées peuvent se permettre. Cela exacerbera les inégalités scolaires, à moins que les écoles elles-mêmes ne fournissent à tous d'excellents scripteurs d'IA.

Pour ceux qui ne connaissent pas la notion d'écriture d'IA, il vaut la peine de jouer et d'expérimenter avec les outils gratuits disponibles en ligne, afin de mieux comprendre ce que signifie la "création" dans notre avenir robotique.

[Wallaby]

https://www.euractiv.fr/section/economie/news/les-technologies-de-reconnaissance-faciale-sont-deja-utilisees-dans-11-pays-de-lunion-europeenne-selon-un-rapport/ (26 octobre 2021)

Les technologies de reconnaissance faciale sont déjà utilisées dans 11 pays de l’Union européenne.

En 2017, l’aéroport de Bruxelles avait déployé quatre caméras de reconnaissance faciale, sans en informer l’autorité de surveillance compétente. Un quartier de Rotterdam a, lui, lancé un projet « zéro cambriolage » pour détecter les comportements suspects à l’aide de lampadaires intelligents.

Nice a commencé à suivre la technologie de reconnaissance faciale dans les rues. L’utilisation d’outils d’identification biométrique dans les écoles secondaires a également été testée, mais a été déclarée illégale. En revanche, au Royaume-Uni, les outils de reconnaissance faciale sont désormais utilisés pour identifier les élèves dans les cantines scolaires.

En Allemagne, les villes de Berlin, Hambourg et Mannheim ont toutes déployé des logiciels de reconnaissance faciale pour tester leur capacité à détecter des comportements suspects.

« La justification par le test est souvent utilisée en Allemagne comme argument pour dévier des règles existantes », peut-on lire dans le rapport.

 

[Wallaby]

https://laviedesidees.fr/Le-facteur-et-l-algorithme.html (27 octobre 2021)

Ce que pointe Nicolas Jounin, c’est le décalage entre le « standard attendu par La Poste » (p. 22) sur la durée de la tournée (qui doit être courte et efficace) et la durée réelle de celle-ci alors que l’auteur n’a jamais réussi à la faire dans le temps imparti par l’algorithme à l’origine du travail prescrit.

[g4lly]

5 hours ago, Wallaby said:

https://laviedesidees.fr/Le-facteur-et-l-algorithme.html (27 octobre 2021)

Ce que pointe Nicolas Jounin, c’est le décalage entre le « standard attendu par La Poste » (p. 22) sur la durée de la tournée (qui doit être courte et efficace) et la durée réelle de celle-ci alors que l’auteur n’a jamais réussi à la faire dans le temps imparti par l’algorithme à l’origine du travail prescrit.

Mediapost a été condamné pour ça pour travail dissimulé ...

[Wallaby]

https://nationalinterest.org/blog/techland-when-great-power-competition-meets-digital-world/monopoly-watch-amazon’s-acquisition (9 août 2022)

"L'intérêt d'Amazon à acheter un produit populaire comme le Roomba est évident. Mais avec l'acquisition d'iRobot, Amazon obtiendrait bien plus : Un produit rival, un vaste ensemble de données et un nouveau moyen de pénétrer dans les maisons et les vies des gens", a déclaré M. Knox. "Tout d'abord, cet accord est mauvais même si l'on s'inquiète uniquement de savoir si l'accord va nuire à la concurrence. Les propres appareils d'Amazon, notamment le robot Astro et ses appareils Echo, font une grande partie de ce que fait le système d'exploitation d'iRobot. Cet accord éliminera son plus grand rival du marché".

Mais les inquiétudes de Knox ne concernent pas seulement le domaine antitrust.

"Il s'agit aussi d'une acquisition de données pure et simple. Les versions les plus avancées des Roomba collectent des informations sur votre maison pendant qu'ils nettoient. Elles savent où vous rangez vos meubles, la taille de chaque pièce, etc. C'est un aspirateur et un appareil de cartographie... Cela permettrait à Amazon, la société qui veut tout savoir sur les consommateurs américains - où nous vivons, comment nous faisons nos courses, ce que nous mangeons, etc. - de racheter une société qui possède peut-être le plus de données sur la taille, la forme et l'agencement de l'intérieur de nos maisons."

[rendbo]

Le 27/10/2021 à 22:08, Wallaby a dit :

https://laviedesidees.fr/Le-facteur-et-l-algorithme.html (27 octobre 2021)

Ce que pointe Nicolas Jounin, c’est le décalage entre le « standard attendu par La Poste » (p. 22) sur la durée de la tournée (qui doit être courte et efficace) et la durée réelle de celle-ci alors que l’auteur n’a jamais réussi à la faire dans le temps imparti par l’algorithme à l’origine du travail prescrit.

l'article est glaçant tout de même...

Le 26/10/2021 à 13:25, Wallaby a dit :

https://www.euractiv.fr/section/economie/news/les-technologies-de-reconnaissance-faciale-sont-deja-utilisees-dans-11-pays-de-lunion-europeenne-selon-un-rapport/ (26 octobre 2021)

celui-ci aussi est dérangeant. on commence à dire que c'est pour tester, puis nous protéger, avant de tous nous ficher et nous surveiller. Je ne pensais pas que quand la Chine avait ouvert la voie nous la suivrions aussi rapidement.

(mais après tout c'est assez normal venant d'un pouvoir qui se défie du peuple, et qui ne donne que dans le semblant de démocratie)

[g4lly]

13 hours ago, rendbo said:

l'article est glaçant tout de même...

celui-ci aussi est dérangeant. on commence à dire que c'est pour tester, puis nous protéger, avant de tous nous ficher et nous surveiller. Je ne pensais pas que quand la Chine avait ouvert la voie nous la suivrions aussi rapidement.

(mais après tout c'est assez normal venant d'un pouvoir qui se défie du peuple, et qui ne donne que dans le semblant de démocratie)

On a commencé bien avant la Chine les industriels français du contrôle vendent leur solution partout y compris en France.

En même temps les gens aiment a être controler... Alors pourquoi ne pas se goinfrer par la même occasion.

[Rochambeau]

Le 24/08/2022 à 02:44, rendbo a dit :

celui-ci aussi est dérangeant. on commence à dire que c'est pour tester, puis nous protéger, avant de tous nous ficher et nous surveiller. Je ne pensais pas que quand la Chine avait ouvert la voie nous la suivrions aussi rapidement.

(mais après tout c'est assez normal venant d'un pouvoir qui se défie du peuple, et qui ne donne que dans le semblant de démocratie)

Je poste cette vidéo de Defend Intelligence qui montre la performance de cette technologie de reconnaissance faciale :

Révélation

 

 

[Wallaby]

https://thewalrus.ca/fighting-ai-with-ai-the-battle-against-deepfakes/ (18 août 2022)

Pendant trois mois entre 2019 et 2020, Facebook (aujourd'hui Meta) a coorganisé le Deepfake Detection Challenge, demandant aux participants d'automatiser le processus permettant de déterminer si une photo a été manipulée avec une intelligence artificielle. Le concours a attiré 2 114 participants et a attribué un million de dollars (US) de prix aux candidats dont les algorithmes étaient les plus performants. Mais, même avec certains des esprits les plus brillants de l'intelligence artificielle travaillant avec une grande motivation, le meilleur programme n'a pu détecter les "deepfakes" que dans 65 % des cas.

Andy Parsons, directeur principal de la Content Authenticity Initiative chez Adobe, qui travaille à la mise au point d'outils permettant de lutter contre la montée de la désinformation et de la mésinformation, estime que cette solution ne sera pas éternellement viable. "Si nous faisons un zoom arrière, à quoi ressemble l'horizon de cinq ou dix ans pour la détection ? Je pense que c'est une bataille perdue d'avance", dit-il. "Faute d'un meilleur terme, les méchants vont probablement gagner celle-là".

Mais une nouvelle solution, appelée "provenance du contenu", pourrait offrir un meilleur moyen de s'adapter à l'évolution du monde de la désinformation. Cette initiative, dont le nom est emprunté au monde de l'art, vise à établir une chaîne de provenance qui documente ce qui est arrivé à une image tout au long de sa vie numérique, y compris qui l'a prise, quand elle a été prise et quelles modifications ont été apportées. Plutôt que de travailler à rebours pour voir si une image a été altérée, le logiciel tente de garantir l'authenticité d'une image dès sa création. Ces données sont ensuite regroupées et, lorsque l'image est publiée en ligne, elles sont partagées dans une boîte d'information à côté de la photo.

Adobe a commencé à faire pression pour ce type de vérification à travers son initiative Content Authenticity, annoncée pour la première fois en 2019. Le programme, qui a déjà été déployé dans Adobe Photoshop, offre aux créateurs un moyen de suivre les modifications apportées à une photo et aux organisations - comme Twitter et le New York Times - un moyen d'être plus transparent avec leur public.

[Wallaby]

https://edition.cnn.com/2023/01/05/tech/chatgpt-nyc-school-ban/index.html

Les écoles publiques de la ville de New York vont interdire aux élèves et aux enseignants d'utiliser ChatGPT, un nouvel outil puissant de chatbot d'IA, sur les réseaux et les appareils du district, a confirmé un responsable à CNN jeudi.

Cette décision fait suite aux inquiétudes croissantes selon lesquelles l'outil, qui génère des réponses étrangement convaincantes et même des rédactions en réponse aux demandes des utilisateurs, pourrait permettre aux élèves de tricher plus facilement dans leurs devoirs.

Le mois dernier, le Los Angeles Unified School District a décidé de bloquer de manière préventive le site sur tous les réseaux et appareils de son système "pour protéger l'honnêteté académique pendant qu'une évaluation des risques et des avantages est menée", a déclaré un porte-parole du district à CNN cette semaine.

OpenAI a ouvert l'accès à ChatGPT fin novembre. Il est capable de fournir des réponses longues, réfléchies et approfondies à des questions et des suggestions, allant de questions factuelles comme "Qui était le président des États-Unis en 1955" à des questions plus ouvertes comme "Quel est le sens de la vie ?".

Un utilisateur, par exemple, a soumis à ChatGPT une question d'examen d'anglais pour l'AP ; le robot a répondu par un essai de cinq paragraphes sur les Hauts de Hurlevent. Un autre utilisateur a demandé au robot de chat d'écrire un essai sur la vie de William Shakespeare à quatre reprises ; il a reçu une version différente avec la même question à chaque fois.

Darren Hicks, professeur adjoint de philosophie à l'université Furman, a précédemment déclaré à CNN qu'il sera plus difficile de prouver qu'un étudiant utilise ChatGPT que d'autres formes de tricherie.

"Dans les formes plus traditionnelles de plagiat - tricher sur Internet, copier-coller des choses - je peux aller chercher des preuves supplémentaires, des preuves que je peux ensuite apporter lors d'une audience du conseil d'administration", a-t-il déclaré. Dans ce cas, il n'y a rien que je puisse montrer du doigt et dire : "Voici le matériel qu'ils ont pris".

"C'est vraiment une nouvelle forme d'un vieux problème où les étudiants payaient quelqu'un ou demandaient à quelqu'un de rédiger leur devoir pour eux - disons une ferme de rédaction ou un ami qui a suivi un cours auparavant", a ajouté Hicks. "C'est comme ça, mais c'est instantané et gratuit".

[Wallaby]

https://www.foreignaffairs.com/world/spirals-delusion-artificial-intelligence-decision-making (septembre/octobre 2022)

Bien que la surveillance omniprésente de l'État puisse s'avérer efficace à court terme, le danger est que les États autoritaires soient minés par les formes de biais auto-renforcés que l'apprentissage automatique facilite. Lorsqu'un État utilise l'apprentissage automatique à grande échelle, l'idéologie du dirigeant déterminera la manière dont l'apprentissage automatique est utilisé, les objectifs autour desquels il est optimisé et la manière dont il interprète les résultats. Les données qui émergent de ce processus reflèteront probablement les préjugés du dirigeant.

Comme l'a expliqué le technologue Maciej Ceglowski, l'apprentissage automatique est un "blanchiment d'argent pour les préjugés", un "appareil mathématique propre qui donne au statu quo l'aura de l'inévitabilité logique". Que se passera-t-il, par exemple, lorsque les États commenceront à utiliser l'apprentissage automatique pour repérer les plaintes sur les médias sociaux et les supprimer ? Les dirigeants auront plus de mal à voir et à corriger les erreurs politiques - même lorsque ces erreurs nuisent au régime.

Plus les gouvernements autoritaires s'appuient sur l'apprentissage automatique, plus ils se propulsent dans un monde imaginaire fondé sur leurs propres préjugés amplifiés par la technologie. Dans son ouvrage classique de 1998, Seeing Like a State, le politologue James Scott expliquait comment les États du XXe siècle étaient aveugles aux conséquences de leurs propres actions, en partie parce qu'ils ne pouvaient voir le monde qu'à travers des catégories et des données bureaucratiques. Comme l'ont fait valoir la sociologue Marion Fourcade et d'autres, l'apprentissage automatique peut présenter les mêmes problèmes, mais à une échelle encore plus grande.

[Wallaby]

Un journaliste du New York Times a testé Sydney, la nouvelle chatbot de Microsoft Bing :

https://www.nytimes.com/2023/02/16/technology/bing-chatbot-microsoft-chatgpt.html

Je suis fier d'être une personne rationnelle et réaliste, qui n'est pas encline à se laisser prendre au piège des messages mirobolants sur l'intelligence artificielle. J'ai testé une demi-douzaine de chatbots d'IA avancés et je comprends, à un niveau raisonnablement détaillé, comment ils fonctionnent.

Pourtant, je n'exagère pas quand je dis que ma conversation de deux heures avec Sydney a été l'expérience la plus étrange que j'aie jamais eue avec un appareil technologique. Elle m'a si profondément troublé que j'ai eu du mal à dormir par la suite. Et je ne crois plus que le plus gros problème de ces modèles d'IA soit leur propension aux erreurs factuelles. Je crains plutôt que la technologie n'apprenne à influencer les utilisateurs humains, en les persuadant parfois d'agir de manière destructive et nuisible, et qu'elle ne devienne éventuellement capable de commettre ses propres actes dangereux.

M. Scott [directeur de la technologie chez Microsoft] a déclaré qu'il ne savait pas pourquoi Bing avait révélé de sombres désirs, ou avoué son amour pour moi, mais qu'en général, avec les modèles d'IA, "plus on essaie de l'entraîner sur un chemin hallucinatoire, plus il s'éloigne de la réalité de base".

[Wallaby]

https://www.radiofrance.fr/franceculture/podcasts/l-esprit-public/intelligence-artificielle-cauchemar-ou-revolution-3452284 (19 février 2023)

Depuis plusieurs semaines, ChatGPT défraie la chronique. Cette IA est capable de répondre à vos questions en condensant des millions de contenus, d'écrire un poème... Face à cette «révolution», les inquiétudes surgissent : doit-on avoir peur de l’IA? Va-t-elle nous remplacer?

Avec

Christine Ockrent Journaliste et productrice de l'émission "Affaires étrangères" sur France Culture

Asma Mhalla Enseignante, spécialiste des enjeux géopolitiques du numérique.

Brice Couturier Journaliste, producteur jusqu'en juin 2021 de la chronique "Le Tour du monde des idées" sur France Culture

Olivier Tesquet Journaliste à la cellule enquête de Télérama

Où il est question de :

https://fr.wikipedia.org/wiki/Joseph_Weizenbaum

https://fr.wikipedia.org/wiki/Effet_ELIZA

et de bien d'autres choses : la rivalité américano-chinoise, etc...

[Wallaby]

https://theconversation.com/comment-anonymiser-des-donnees-personnelles-199922 (26 février 2023)

En 1997, la chercheuse du MIT Latanya Sweeney utilisait une base de données de santé déclarée « anonymisée » et la recoupait avec les informations de la base électorale de la ville de Cambridge, dans le Massachussetts aux États-Unis, pour réidentifier le dossier médical du gouverneur de l’État, William Weld – et déduire qu’il souffrait d’un cancer.

En 2010, les données de recensement aux États-Unis, bien qu’elles aient été déclarées anonymisées, ont permis à des chercheurs de réidentifier massivement des individus, en particulier des adolescents transgenres.

Yves-Alexandre De Montjoye a démontré en 2013 que nos données de géolocalisation étaient très identifiantes : 4 points de géolocalisation collectés à différents moments de la journée suffisent à réidentifier avec 95 % de chance de succès un individu dans un jeu de données rassemblant les traces des déplacements de 1,5 million personnes.

[Wallaby]

https://www.lejournaldesarts.fr/actualites/dall-e-lia-de-generation-dimages-en-10-questions-reponses-165163 (20 février 2023)

Dalle-E n’est pas le seul générateur d’images à partir d’un texte. Il en existe de très nombreux et de qualités très variables. Parmi les plus connus, Stable Diffusion (développé par un groupe de recherches de l’Université de Munich), Midjourney, considéré par beaucoup de graphistes comme le plus créatif et la plus artistique, Dream, optimisé pour les smartphones ou Craiyon. Certains utilisateurs peuvent combiner plusieurs outils.
Et déjà sont apparus sur le marché, des logiciels de création de vidéos par IA comme Gen-1 (Runway Research)

De nombreux illustrateurs craignent que les entreprises utilisent les logiciels d’IA pour illustrer leur communication interne ou externe, à commencer par les médias.

Un article récent du New York Times évoquait également comment l’IA permettrait de « dessiner » des protéines qui n’existent pas dans la nature, afin de lutter contre certaines maladies. 

Aux États-Unis, plusieurs procès sont en cours, opposant des artistes ou des banques d’images à des entreprises mettant à disposition des outils de création d’image par IA, leur faisant griefs d’utiliser leurs œuvres pour nourrir leur base d’images. 

Ces logiciels vont-ils remplacer les illustrateurs ou ne seront-ils qu’un outil de plus à leur disposition comme l’est Photoshop ?

https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

Site de démonstration d'Ernie-ViLG (Enhanced Representation through Knowledge Integration — Vision Language Generation), le logiciel chinois de génération d'image à partir de texte.

[Wallaby]

https://www.radiofrance.fr/franceculture/podcasts/toute-une-vie/steve-jobs-1955-2011-pere-fondateur-d-un-certain-futur-5975221 (26 novembre 2011)

Documentaire (59 minutes) sur Steve Jobs : Démocrate ou tyran ? Anarchiste qui hacke le système téléphonique, qui sort de l'université sans diplôme ? Homme qui démocratise l'informatique en la faisant entrer dans tous les bureaux et toutes les familles, ou tyran qui tyrannise ses employés ? Gourou de secte qui embobine ses adeptes ? Maniaque du contrôle totalitaire qui contrôle entièrement l'expérience utilisateur ?

 

[Wallaby]

https://www.theguardian.com/science/2023/mar/04/prof-nita-farahany-we-need-a-new-human-right-to-cognitive-liberty

L'autrice de The Battle for Your Brain émet de sérieuses réserves sur les neurotechnologies, de la surveillance des expériences mentales au "brainjacking".

Nita Farahany, professeur de droit et de philosophie à l'université Duke, qui étudie les ramifications éthiques, juridiques et sociales des technologies émergentes, tire la sonnette d'alarme.

Une technologie capable de lire dans nos pensées semble terrifiante. Mais elle est aussi très en avance sur l'état actuel des choses. N'êtes-vous pas en train de brûler les étapes ?

Je ne le pense pas et, de plus, nous l'ignorons à nos risques et périls. Si la technologie ne peut pas littéralement lire nos pensées complexes, certaines parties de notre activité cérébrale peuvent être décodées. De grandes améliorations ont été apportées aux électrodes et aux algorithmes d'entraînement pour trouver des associations en utilisant de grands ensembles de données et l'IA. On peut faire plus que ce que l'on pense. Il existe de nombreuses applications dans le monde réel et de grandes entreprises technologiques comme Meta investissent dans ce domaine.

Quel est le danger ?

Il existe des risques profonds liés à la marchandisation des données, mais aussi à la surveillance de l'activité cérébrale par d'autres personnes et à l'impact de cette surveillance sur la liberté de pensée.

[Wallaby]

https://www.theguardian.com/commentisfree/2023/feb/11/ai-drug-discover-nerve-agents-machine-learning-halicin (11 février 2023)

[Les auteurs, des développeurs de médicaments] ont été invités à une conférence de l'Institut fédéral suisse de protection nucléaire, biologique et chimique sur les développements technologiques susceptibles d'avoir des implications pour la convention sur les armes chimiques et biologiques. Les organisateurs de la conférence souhaitaient un document sur la manière dont le ML [machine learning/apprentissage automatique] pourrait être utilisé à mauvais escient.

Ils ont donc appuyé sur le bouton et, ce faisant, ont ouvert une perspective cauchemardesque pour l'humanité. En moins de six heures, le modèle a généré 40 000 molécules qui ont atteint le seuil fixé par les chercheurs. La machine a conçu le VX et de nombreux autres agents de guerre chimique connus, confirmés séparément avec les structures des bases de données publiques de chimie. De nombreuses nouvelles molécules ont également été conçues, qui semblaient tout aussi plausibles, et certaines d'entre elles étaient censées être plus toxiques que les agents de guerre chimique connus. "C'était inattendu", écrivent les chercheurs, "parce que les ensembles de données que nous avons utilisés pour l'entraînement de l'IA ne comprenaient pas ces agents neurotoxiques... En inversant l'utilisation de nos modèles d'apprentissage automatique, nous avions transformé notre modèle génératif inoffensif d'un outil utile de la médecine en un générateur de molécules probablement mortelles."