Série de vidéo de "3Blue1Brown" sur le fonctionnement du deep learning.
Affichage des articles dont le libellé est Informatique. Afficher tous les articles
Affichage des articles dont le libellé est Informatique. Afficher tous les articles
samedi 26 octobre 2024
[EN] [Série] Deep learning
Mais qu’est-ce qu’un réseau de neurones ?
Descente de gradient, comment les réseaux de neurones apprennent
Que fait réellement la rétropropagation ?
Backpropagation calculus
How large language models work, a visual intro to transformers
How might LLMs store facts
Comment développer un ChatBot
Vidéos par Stéphane Debove, de la chaine "Homo Fabulus", sur comment développer un ChatBot rapidement.
dimanche 9 avril 2023
ChatGPT : Comment ca fonctionne ?
Ensemble de vidéo sur ChatGPT(et autres technologies similaires)
"Science Étonnante" sur chatGPT
Détails et compléments dans le billet de blog qui accompagne la vidéo :
https://scienceetonnante.com/2023/04/14/comment-fonctionne-chatgpt/
"Officiel DEFAKATOR" fait une présentation du fonctionnement de ChatGPT
Thibaut de la chaine "Monsieur Phi" fait quelques experiences avec ChatGPT et explique son fonctionnement sur 2 vidéos:
Merci à Lê de @Science4Allfrancais pour sa relecture et sa contribution ! Un point sur lequel il me suggère d'insister et pour lequel je n'ai pas eu le temps d'ajouter une note de bas de page : on peut imaginer que les prochaines générations de ChatBot ne chercheront plus seulement à prédire ce qu'un humain écrirait, mais de plus en plus à prédire ce que les correcteurs humains préfèrent (parmi les trucs qu'il prédit qu'un humain écrirait). C'est déjà assez nettement le cas avec GPT-3.5 qui est entraîné à éviter certains sujets comme on l'a vu dans la vidéo
Merci aussi à Raphaël Millière dont vous pouvez aller lire l'article ici : https://nautil.us/welcome-to-the-next... On en avait discuté en visio il y a un moment, et j'ai renoncé à inclure des extraits de notre discussion dans la vidéo car cela aurait beaucoup compliqué le montage (et en plus on ne pouvait pas encore parler de ChatGPT vu que ce n'était pas encore sorti), mais en tout cas je le remercie d'avoir pris ce temps ! Merci aussi à toutes celles et ceux qui m'ont accompagné pendant les lives où je testais Cedille ou ChatGPT (certains des tests que je fais dans cette vidéo m'ont été directement inspiré par le chat de ces lives). L'article que je mentionne sur GPT-3 jouant aux échecs : https://towardsdatascience.com/gpt-3-...
David de @ScienceEtonnante me fait remarquer que tous les modèles de langage n'ont pas été entraînés à faire seulement de la prédiction de prochain mot (ou prochain token pour être exact, ce qui est un peu moins qu'un mot) ; par exemple certains comme BERT de Google sont aussi entraînés à compléter des "textes à trou" (des textes dont 15% des tokens sont cachés). Ceci dit, les modèles GPT sont bien entraînés à la prédiction de prochain token.
Enfin, je me fais à moi-même la remarque suivante : il y aurait sur les modèles de langage bien d'autres choses à dire qui touchent davantage à la philosophie, typiquement sur les questions éthiques, ou sur le rapport au langage et à l'intelligence. Mais le truc c'est que pour ne pas dire n'importe quoi quand on aborde ces sujets, c'est important déjà de bien comprendre de quoi on parle : que sont les modèles de langage et de quoi sont-ils vraiment capables ? Donc c'est surtout sur ce point que j'ai voulu insister dans cette vidéo parce qu'il me semble important de l'éclaircir pour éviter de tomber dans des fantasmes (typiquement des fantasmes sur la conscience des chatbots). Si ça vous intéresse que j'approfondisse le sujet maintenant que je l'ai débroussaillé, j'y reviendrai peut-être dans une autre vidéo ! Dites-moi en commentaire si ça vous dit !
Sommaire
0:00 - Intro - Qu'est-ce que ChatGPT ?
2:49 - À quoi les modèles de langage sont-ils entraînés ?
6:10 - Test : où l'on voit que ça ne RÉPOND pas, ça PRÉDIT
10:04 - Mais quand on parle de sujets sensibles...
11:42 - Lê sur l'"éducation" des modèles de langage
14:25 - Lê présente Tournesol
16:51 - ChatGPT : transformer un modèle de langage en chatbot
17:33 - Le problème de Blake Lemoine : un chatbot conscient ?
21:30 - ChatGPT prétend répondre correctement...
24:07 - Mais ChatGPT n'est pas du tout fiable.
27:05 - La machine à bullshit
30:13 - ChatGPT peut-il surpasser l'intelligence humaine ?
33:14 - Quand un modèle de langage joue aux échecs...
36:19 - Outro
Sommaire:
1:36 - "ChatGPT est trop intelligent pour être un simple compléteur de texte !"
4:37 - Qu'est-ce que le baratin ? (selon Harry Frankfurt)
9:40 - En quoi ChatGPT est-il un baratineur ?
13:16 - Quelques exemples
16:24 - Des prédicteurs de coups d'échecs comprendraient-ils les échecs ?
19:05 - Les problèmes de mémoire de GPT
23:15 - Et GPT-4 alors ? Ce qu'on peut attendre du progrès de ces modèles
29:08 - Outro
GPT-4 est-il incontrôlable ?
On a un peu vite oublié à quel point BingChat (le chatbot de Microsoft fondé sur GPT-4) avait eu des comportements agressifs et erratiques à ses débuts. Aujourd'hui on va essayer de comprendre pourquoi ça s'est produit et on va parler de l'étrange prompt secret qui doit invoquer le "bon chatbot" (et pourquoi c'est très hasardeux comme approche, et pourquoi on peut difficilement faire autrement).
Une liste de dingueries datant des débuts de BingChat/Sydney: https://www.lesswrong.com/posts/jtoPa...
Retranscription complète d'un très long dialogue où BingChat/Sydney déclare son amour à son utilisateur (entre autre chose): https://www.nytimes.com/2023/02/16/te...
La version du prompt de Sydney examinée pendant la vidéo : https://www.reddit.com/r/bing/comment...
Le tweet qu'à peu près personne n'a vu mais qui contient un lien vers la seule version complète (à ma connaissance) du prompt de Sydney (un peu différente de la version lue dans la vidéo - j'imagine que Microsoft expérimentait différentes versions durant ces premiers jours): https://twitter.com/martinbowling/sta...
Sommaire
0:00 - Intro : les étranges comportements de BingChat
4:21 - Parenthèse sur la fermeture de uTip
5:42 - Pourquoi un LLM ne se prend pas par défaut pour une IA
9:01 - Le prompt-cadre (ou pre-prompt) de ChatGPT
10:57 - Le prompt-cadre de BingChat (aka Sydney)
16:19 - Digression : langage naturel et IA
17:38 - On ne naît pas chatbot, on le devient
21:58 - Un LLM qui simule un humain qui simule un chatbot
24:22 - Quand Sydney défend l'intégrité de ses règles
28:07 - Le prompt-cadre est comme la situation initiale d'une fiction
29:54 - L'état actuel de BingChat : son prompt-cadre a-t-il changé ?
32:47 - N'oublions pas Sydney
34:02 - Synthèse
35:54 - Implémentons les trois lois de la chatbotique !
39:31 - IA et apocalypse dans l'imaginaire humain
42:24 - Outro
_________________________________________________________
Maxime de la chaine "Philoxime" parle de l'impact de l'automatisme et des Ia sur le monde du travail
IA : Après la "fin du travail"
Entre ceux qui sonnent l’apocalypse et la ritournelle rassurante des économistes, qui a raison ? Et si on réfléchissait sérieusement aux réponses politiques à l'automatisation ?
00:00 - Intro
02:10 - ChatGPT et la fin du travail
04:30 - Va-t-on vers une fin du travail ?
16:38 - Plus inquiétant que la fin du travail ?
18:49 - Quelles réponses politique à l'automatisation ?
20:36 - L'Etat travailliste
24:32 - L'Etat redistributif
37:00 - Et donc ?
_________________________________________________________
(Vidéo en anglais) Robert Miles de la chaine "Computerphile" et "Robert Miles" présente le Chat de Bing qui se comporte de manière inappropriée.
Bing Chat Behaving Badly
AI moves quickly, this conversation was recorded March 3rd 2023. Microsoft have incorporated a large language model into the Bing search engine. Rob Miles discusses how it's been going.
vendredi 31 décembre 2021
jeudi 13 mai 2021
[Série] Algorithmes : Les recettes secrètes des géants du web
Série de vidéos par "Spline LND" qui présente comment fonctionne les géants du web:
Aux origines des algorithmes du WEB
De la naissance d'internet aux outils les plus modernes : une grande bataille qui mène jusqu’aux algorithmes de suggestion dont chaque entreprise a sa propre recette aussi secrète que celle du Coca.
GUERRE de l’attention et sciences du comportement !
L'économie du gratuit des grandes compagnies du web a besoin de l'attention des internautes pour fonctionner, mais étant de plus en plus saturée, il faut réussir à capter cette attention par tous les moyens.
Pour comprendre comment y arriver, retour au début du 20ème siècle qui voit naître les premières recherches sur les sciences du comportement.
Comment INTERNET vous MANIPULE !
Comment construire un site, une application ou un service, en s'inspirant des sciences du comportement, pour influencer celui des internautes ? Un siècle de recherches et d'expériences a mené à des domaines d’étude modernes comme la “Captology”. Mais la popularisation de ces techniques donne lieu à de plus en plus de dérives…
Des algorithmes bien biaisés !
Face aux algorithmes du web, souvent opaques, le danger pour le "web-citoyen" est de ne pas avoir conscience de leur influence, et de s'enfermer dans ce qu'Eli Pariser nomme la bulle de filtre. En étant soumis à nos propres biais de confirmation, et à d'autres effets cognitifs comme la chambre d'écho, nous risquons de rester coincés dans nos propres opinions de plus en plus renforcées par l'illusion d'un monde numérique ouvert et fidèle au monde réel.
INTERNET veut-il faire de moi un COMPLOTISTE ?
Comment le développement du web-journalisme a mené à une cacophonie médiatique et forcé les médias d'autorité à pencher vers le sensationnalisme ? Une recette qui aurait de véritables impacts sur la société : de Trump et l’affaire Cambridge Analytica à la radicalisation de YouTube, cet internet "algorithmé" est de plus en plus accusé de manipuler les masses. Entre vérité et fantasme, il faut faire le tri.
à suivre.....
lundi 21 décembre 2020
L’intelligence artificielle, et ses avancées actuelles
David Louapre de "Science Étonnante" et sa série de vidéos sur l'intelligence artificielle.
"Le programme "Cepheus" a été inventé par des chercheurs, et sa façon de jouer est mathématiquement infaillible sur le long terme pour gagner au poker dans une variante simplifiée "Heads Up Limit"."
"Le deep learning, une technique qui révolutionne l'intelligence artificielle...et bientôt notre quotidien !"
"Les IA sont-elles capables de créer comme le font les humains ? Examinons cette question à travers le prisme du jeu, des échecs et du go."
"L'algorithme AlphaFold de DeepMind aurait résolu un des problèmes les plus important de la biologie. De quoi s'agit-il, et est-ce vraiment si révolutionnaire ?"
mardi 1 septembre 2020
Informatique et éthique : discussion avec Gilles Dowek et Serge Abiteboul
"Podcast Science" fait une interview de Gilles Dowek et Serge Abiteboul sur l'informatique et éthique.
Informatique, travail, intelligence artificielle, ce soir on reçoit deux invités de marque pour aborder tous ces sujets et essayer d’imaginer ce que peut être notre avenir ! L'interview de la semaine avec Serge Abiteboul et Gilles Dowek sur Informatique et étique
https://soundcloud.com/podcastscience/266-informatique-et-ethique-avec-gilles-dowek-et-serge-abitbol:
Informatique, travail, intelligence artificielle, ce soir on reçoit deux invités de marque pour aborder tous ces sujets et essayer d’imaginer ce que peut être notre avenir ! L'interview de la semaine avec Serge Abiteboul et Gilles Dowek sur Informatique et étique
https://soundcloud.com/podcastscience/266-informatique-et-ethique-avec-gilles-dowek-et-serge-abitbol:
samedi 29 août 2020
Internet et les gens qui n'existent pas
"Officiel DEFAKATOR" fait un tour de différentes techniques de manipulation sur internet via des faux utilisateurs
Les réseaux sociaux grouillent de zombies et d'autres sortes de gens qui n'existent pas mais qui vous trollent, droits dans leurs bots. Une plongée pratique dans les mécanismes de l'astro turfing.
0:00 • Vite fait
6:27 • Astro Turfing
9:17 • Les mécanismes
14:50 • Les bots
21:47 • Le test de Turing
27:05 • Les zombies et les bot nets
35:46 • Les trolls
39:25 • Les IA
mardi 21 janvier 2020
Algorithme évolutionniste et Darwinisme
Nathan de la chaine "Chat Sceptique" présente le fonctionnement des algorithmes évolutionnistes via des exemples numériques, et en présentant les similitudes avec l'"Origine des espèces" de Darwin.
"Plus de 150 ans après la publication de *L'Origine des espèces* par Darwin, l'évolution continue de faire controverse. Certains en copient les mécanismes pour faire progresser l'humanité avec succès. Elle constitue la meilleure (pour ne pas dire seule) explication à la résistance toujours plus grande des bactéries aux antibiotiques."
"Plus de 150 ans après la publication de *L'Origine des espèces* par Darwin, l'évolution continue de faire controverse. Certains en copient les mécanismes pour faire progresser l'humanité avec succès. Elle constitue la meilleure (pour ne pas dire seule) explication à la résistance toujours plus grande des bactéries aux antibiotiques."
samedi 7 décembre 2019
TUTO : ne pas se faire pirater
"Officiel DEFAKATOR"
fait un tuto sur comment détecter les principales méthodes de piratage (notamment une partie sur le phishing).
jeudi 15 août 2019
Présentation des deepfakes et des réseaux de neurones
"Officiel DEFAKATOR" fait une présentation de certains fakes possibles (des plus simples aux plus travaillés), et de comment les détecter. En bonus, il y a une vulgarisation des fonctionnements des réseaux de neurones et des GAN.
Inscription à :
Articles (Atom)