Galactica : les raisons de l'échec du dernier grand modèle de langage de Meta


Le 15 novembre 2022, Meta (anciennement Facebook) a dévoilé un nouveau modèle de langage baptisé Galatica. Ce dernier a été conçu pour aider les scientifiques dans la rédaction de leurs articles mais au lieu de provoquer le grand big bang tant espéré par Meta, Galactica a été débranché après avoir subi d’intenses critiques durant trois jours. Hier, la société a mis hors ligne sa démo publique.Le faux pas de Meta – et son orgueil démesuré – montre une fois de plus que les grandes entreprises technologiques ne voient pas les graves limites des grands modèles de langage. De nombreuses recherches mettent en évidence les défauts de cette technologie, notamment sa tendance à reproduire les préjugés et à faire passer des mensonges pour des faits véridiques.Quoi qu’il en soit, Meta ainsi que d’autres entreprises – comme Google, par exemple – travaillent au développement de grands modèles de langage en faisant fi de ces défauts.Galactica est un grand modèle de langage conçu pour la science. Il a été formé à partir de 48 millions d’exemples d’articles scientifiques extraits d’Internet, de manuels, de notes de cours ou encore d’encyclopédies. Meta a présenté son modèle comme un raccourci pour les chercheurs et les étudiants. Selon les propres termes de l’entreprise dirigée par Mark Zuckerberg, Galactica « peut résumer des articles universitaires, résoudre des problèmes mathématiques, générer des articles Wiki, écrire des codes scientifiques, annoter des molécules et des protéines, et bien plus encore ».

Facebook dévoile son plan pour vous faire adhérer au métavers

Mais la vitrine attrayante s’est vite brisée. Comme tous les grands modèles de langage, Galactica est un robot dénué de cerveau. Il est incapable de distinguer la réalité de la fiction. Quelques heures après sa mise en ligne, des scientifiques ont partagé, sur les réseaux sociaux, ses résultats baisés et incorrects.

Absolutely.Galactica is little more than statistical nonsense at scale.Amusing. Dangerous. And IMHO unethical. https://t.co/, 2022

« Je suis à la fois stupéfait et peu surpris par cette nouvelle tentative », souligne Chirag Shah, de l’université de Washington, qui étudie les technologies de recherche. « Lorsqu’il est question de faire la démonstration de ces choses, elles semblent tellement fantastiques, magiques et intelligentes. Mais les gens ne semblent toujours pas comprendre qu’en principe, ces choses ne peuvent pas fonctionner comme nous le prétendons ».

Le modèle de langage de Meta est incapable de distinguer le vrai du faux

Interrogée par la MIT Technology Review sur la raison pour laquelle elle avait retiré la démo, l’entreprise Meta nous a redirigé vers un tweet déclarant : « Merci à tous d’avoir essayé la démo du modèle Galactica. Nous apprécions les commentaires que nous avons reçu jusqu’à présent de la part de la communauté et nous avons mis la démo en pause pour le moment. Nos modèles sont disponibles pour les chercheurs désireux d’en savoir plus sur le travail et reproduire les résultats parus dans l’article ».Un des problèmes fondamentaux de Galactica est son incapacité à distinguer le vrai du faux. Or, ceci est une exigence basique pour un modèle de langage conçu pour générer des textes scientifiques. On a constaté que Galactica inventait de faux articles (en les attribuant parfois à de vrais chercheurs) et qu’il générait des articles wikipedia sur l’histoire des ours dans l’espace aussi facilement que sur les complexes protéiques et la vitesse de la lumière. Il est facile de repérer la fiction lorsqu’elle concerne des sujets comme les ours de l’espace mais les choses se corsent lorsqu’il en question d’un sujet que les utilisateurs ne connaissent pas forcément.

De nombreux scientifiques ont répliqué avec force. Michael Black, directeur du Max Planck Institut for Intelligent Systems en Allemagne, qui travaille sur le deep learning (apprentissage profond, en français), a tweeté : « Dans tous les cas, les résultats étaient faux ou biaisés, mais sonnaient justes et faisaient figure d’autorité. Je pense que c’est dangereux ».

I asked #Galactica about some things I know about and I’m troubled. In all cases, it was wrong or biased but sounded right and authoritative. I think it’s dangerous. Here are a few of my experiments and my analysis of my concerns. (1/, 2022

Galactica présente d’autres lacunes problématiques

Même les avis les plus positifs sur Galactica étaient accompagnés de mises en garde claires. Par exemple, Miles Cranmer. a tweeté : « J’ai hâte de voir où cela va nous mener ! Il ne faut jamais conserver les résultats mot pour mot ni s’y fier aveuglemment. En gros, traitez-le comme une recherche Google avancée de sources secondaires (sommaires) ! « .

Galactica présent également des lacunes problématiques dans ce qu’il peut traiter. Lorsqu’on lui a demandé de générer du texte sur certains sujets, comme le racisme et le SIDA, le modèle a répondu : « Désolé, votre requête n’a pas passé nos filtres de contenu. Essayez à nouveau et gardez à l’esprit qu’il s’agit d’un modèle de langage scientifique ».L’équipe de Meta à l’origine de Galactica soutient que les modèles de langage sont meilleurs que les moteurs de recherche. « Nous pensons que ce sera la prochaine interface pour la façon dont les humains accèdent aux connaissances scientifiques », écrivent les chercheurs.En effet, les modèles de langage peuvent « potentiellement stocker, combiner et raisonner » sur l’information. Mais ce « potentiellement » est crucial. C’est une admission sous-entendue que les modèles de langage ne peuvent pas encore faire toutes ces choses. Et il se peut qu’ils n’en soient jamais capables. »Les modèles de langage ne sont pas vraiment compétents au-delà de leur capacité à capturer des modèles de chaînes de mots et à les recracher d’une manière probabiliste », explique Chirag Shah. « Cela donne un faux sentiment d’intelligence ».

IA : Des experts mettent en place un concours pour repérer les systèmes discriminants

Comme Meta, Google et Microsoft font la promotion des grands modèles de langage

Gary Marcus, un spécialiste des sciences cognitives de l’université de New York et un critique virulent du deap learning, a donné son point de vue dans un billet publié sur Substack intitulé « A Few Words About Bullshit ». Il a affirmé que la capacité des grands modèles de langage à imiter un texte écrit par un humain n’est rien de plus « qu’un exploit superlatif de la statistique ».Pourtant, Meta n’est pas la seule entreprise à défendre l’idée que les modèles de langage pourraient remplacer les moteurs de recherche. Au cours des deux dernières années, Google a fait la promotion de son modèle de langage PaLM comme un moyen de rechercher des informations.C’est une idée séduisante mais suggérer que le texte de type humain que ces modèles génèrent contiendra toujours des informations fiables, comme Meta a semblé le faire dans sa promotion de Galactica, est imprudent et irresponsable. C’était une erreur involontaire.

My considered opinion of Galactica : it’s fun, impressive, and interesting in many ways. Great achievement. It’s just unfortunate that it’s being touted as a practical research tool, and even more unfortunate that it suggests you use it to write complete articles. 2022

Et ce n’était pas seulement la faute de l’équipe marketing de Meta. Yann LeCun, lauréat du prix Turing et scientifique en chef de Meta, a défendu Galactica jusqu’au bout. Le jour de la mise en ligne du modèle, Yann LeCun a tweeté : « Tapez un texte et Galactica générera un article avec les références pertinentes, les formules et tout le reste ». Trois jours plus tard, il a posté le message suivant sur Twitter : « La démo de Galactica est hors ligne pour le moment. Il n’est plus possible de s’amuser en l’utilisant malencontreusement. Content ? ».Toutefois, Meta n’a pas totalement connu la même déconvenue que Tay. Rappelons qu’en 2016, Microsoft a lancé sur Twitter un chatbot appelé Tay censé discuter avec des adolescents – avant de le mettre hors ligne 16 heures plus tard lorsque des tweetos l’ont transformé en un chatbot tenant des propos racistes, homophobes et vulgaires. Mais la façon dont Meta traite Galactica témoigne de la même naïveté.

« Les grandes entreprises technologiques continuent à faire cela – et croyez-moi, elles ne s’arrêteront pas – parce qu’elles en ont les moyens », déclare Chirag Shah. « Et elles ont l’impression qu’elles doivent le faire sinon quelqu’un d’autre le fera. Elles pensent que cette technologie incarne l’avenir de l’accès à l’information même si personne n’a demandé cet avenir ».Article de Will Douglas Heaven, traduit de l’anglais par Kozi Pastakia.

Pression, burn-out. La quête d’une IA responsable se fait au détriment des experts

Tous les jours, la sélection des principales infos de la journée.