Ensemble de vidéo sur ChatGPT(et autres technologies similaires)
"Science Étonnante" sur chatGPT
Détails et compléments dans le billet de blog qui accompagne la vidéo :
https://scienceetonnante.com/2023/04/14/comment-fonctionne-chatgpt/
"Officiel DEFAKATOR" fait une présentation du fonctionnement de ChatGPT
Thibaut de la chaine "Monsieur Phi" fait quelques experiences avec ChatGPT et explique son fonctionnement sur 2 vidéos:
Merci à Lê de @Science4Allfrancais pour sa relecture et sa contribution ! Un point sur lequel il me suggère d'insister et pour lequel je n'ai pas eu le temps d'ajouter une note de bas de page : on peut imaginer que les prochaines générations de ChatBot ne chercheront plus seulement à prédire ce qu'un humain écrirait, mais de plus en plus à prédire ce que les correcteurs humains préfèrent (parmi les trucs qu'il prédit qu'un humain écrirait). C'est déjà assez nettement le cas avec GPT-3.5 qui est entraîné à éviter certains sujets comme on l'a vu dans la vidéo
Merci aussi à Raphaël Millière dont vous pouvez aller lire l'article ici : https://nautil.us/welcome-to-the-next... On en avait discuté en visio il y a un moment, et j'ai renoncé à inclure des extraits de notre discussion dans la vidéo car cela aurait beaucoup compliqué le montage (et en plus on ne pouvait pas encore parler de ChatGPT vu que ce n'était pas encore sorti), mais en tout cas je le remercie d'avoir pris ce temps ! Merci aussi à toutes celles et ceux qui m'ont accompagné pendant les lives où je testais Cedille ou ChatGPT (certains des tests que je fais dans cette vidéo m'ont été directement inspiré par le chat de ces lives). L'article que je mentionne sur GPT-3 jouant aux échecs : https://towardsdatascience.com/gpt-3-...
David de @ScienceEtonnante me fait remarquer que tous les modèles de langage n'ont pas été entraînés à faire seulement de la prédiction de prochain mot (ou prochain token pour être exact, ce qui est un peu moins qu'un mot) ; par exemple certains comme BERT de Google sont aussi entraînés à compléter des "textes à trou" (des textes dont 15% des tokens sont cachés). Ceci dit, les modèles GPT sont bien entraînés à la prédiction de prochain token.
Enfin, je me fais à moi-même la remarque suivante : il y aurait sur les modèles de langage bien d'autres choses à dire qui touchent davantage à la philosophie, typiquement sur les questions éthiques, ou sur le rapport au langage et à l'intelligence. Mais le truc c'est que pour ne pas dire n'importe quoi quand on aborde ces sujets, c'est important déjà de bien comprendre de quoi on parle : que sont les modèles de langage et de quoi sont-ils vraiment capables ? Donc c'est surtout sur ce point que j'ai voulu insister dans cette vidéo parce qu'il me semble important de l'éclaircir pour éviter de tomber dans des fantasmes (typiquement des fantasmes sur la conscience des chatbots). Si ça vous intéresse que j'approfondisse le sujet maintenant que je l'ai débroussaillé, j'y reviendrai peut-être dans une autre vidéo ! Dites-moi en commentaire si ça vous dit !
Sommaire
0:00 - Intro - Qu'est-ce que ChatGPT ?
2:49 - À quoi les modèles de langage sont-ils entraînés ?
6:10 - Test : où l'on voit que ça ne RÉPOND pas, ça PRÉDIT
10:04 - Mais quand on parle de sujets sensibles...
11:42 - Lê sur l'"éducation" des modèles de langage
14:25 - Lê présente Tournesol
16:51 - ChatGPT : transformer un modèle de langage en chatbot
17:33 - Le problème de Blake Lemoine : un chatbot conscient ?
21:30 - ChatGPT prétend répondre correctement...
24:07 - Mais ChatGPT n'est pas du tout fiable.
27:05 - La machine à bullshit
30:13 - ChatGPT peut-il surpasser l'intelligence humaine ?
33:14 - Quand un modèle de langage joue aux échecs...
36:19 - Outro
Sommaire:
1:36 - "ChatGPT est trop intelligent pour être un simple compléteur de texte !"
4:37 - Qu'est-ce que le baratin ? (selon Harry Frankfurt)
9:40 - En quoi ChatGPT est-il un baratineur ?
13:16 - Quelques exemples
16:24 - Des prédicteurs de coups d'échecs comprendraient-ils les échecs ?
19:05 - Les problèmes de mémoire de GPT
23:15 - Et GPT-4 alors ? Ce qu'on peut attendre du progrès de ces modèles
29:08 - Outro
GPT-4 est-il incontrôlable ?
On a un peu vite oublié à quel point BingChat (le chatbot de Microsoft fondé sur GPT-4) avait eu des comportements agressifs et erratiques à ses débuts. Aujourd'hui on va essayer de comprendre pourquoi ça s'est produit et on va parler de l'étrange prompt secret qui doit invoquer le "bon chatbot" (et pourquoi c'est très hasardeux comme approche, et pourquoi on peut difficilement faire autrement).
Une liste de dingueries datant des débuts de BingChat/Sydney: https://www.lesswrong.com/posts/jtoPa...
Retranscription complète d'un très long dialogue où BingChat/Sydney déclare son amour à son utilisateur (entre autre chose): https://www.nytimes.com/2023/02/16/te...
La version du prompt de Sydney examinée pendant la vidéo : https://www.reddit.com/r/bing/comment...
Le tweet qu'à peu près personne n'a vu mais qui contient un lien vers la seule version complète (à ma connaissance) du prompt de Sydney (un peu différente de la version lue dans la vidéo - j'imagine que Microsoft expérimentait différentes versions durant ces premiers jours): https://twitter.com/martinbowling/sta...
Sommaire
0:00 - Intro : les étranges comportements de BingChat
4:21 - Parenthèse sur la fermeture de uTip
5:42 - Pourquoi un LLM ne se prend pas par défaut pour une IA
9:01 - Le prompt-cadre (ou pre-prompt) de ChatGPT
10:57 - Le prompt-cadre de BingChat (aka Sydney)
16:19 - Digression : langage naturel et IA
17:38 - On ne naît pas chatbot, on le devient
21:58 - Un LLM qui simule un humain qui simule un chatbot
24:22 - Quand Sydney défend l'intégrité de ses règles
28:07 - Le prompt-cadre est comme la situation initiale d'une fiction
29:54 - L'état actuel de BingChat : son prompt-cadre a-t-il changé ?
32:47 - N'oublions pas Sydney
34:02 - Synthèse
35:54 - Implémentons les trois lois de la chatbotique !
39:31 - IA et apocalypse dans l'imaginaire humain
42:24 - Outro
_________________________________________________________
Maxime de la chaine "Philoxime" parle de l'impact de l'automatisme et des Ia sur le monde du travail
IA : Après la "fin du travail"
Entre ceux qui sonnent l’apocalypse et la ritournelle rassurante des économistes, qui a raison ? Et si on réfléchissait sérieusement aux réponses politiques à l'automatisation ?
00:00 - Intro
02:10 - ChatGPT et la fin du travail
04:30 - Va-t-on vers une fin du travail ?
16:38 - Plus inquiétant que la fin du travail ?
18:49 - Quelles réponses politique à l'automatisation ?
20:36 - L'Etat travailliste
24:32 - L'Etat redistributif
37:00 - Et donc ?
_________________________________________________________
(Vidéo en anglais) Robert Miles de la chaine "Computerphile" et "Robert Miles" présente le Chat de Bing qui se comporte de manière inappropriée.
Bing Chat Behaving Badly
