Antoine Bordes  : "La régulation de l’intelligence artificielle passe par la transparence"


Et les structures pour que ces IA soient développées en toute sécurité existent dont il dirigeait le laboratoire d’IA aux côtés de Yann Le Cun. Il est aujourd’hui vice-président d’Helsing, la grande start-up européenne des technologies de défense. Au cours de ses huit années chez Meta, Bordes a mené la mise au point de Llama, un de ces grands modèles de langage comparables à GPT d’OpenAI ou à Bard de Google. Sa dernière version (Llama 2) a été lancée le 19 juillet.Ces grands modèles de langage (large langage models ou LLM) fascinent autant qu’ils inquiètent. Ils ont démontré d’extraordinaires capacités de résolution de problèmes complexes ou d’apprentissage des langues. On leur prête même des étincelles d’intelligence qui intéressent les sciences cognitives ou les neurosciences autant que l’informatique et les mathématiques. « Les capacités qui sont développées autour de GPT-4 sont incroyables, juge Antoine Bordes. Ces LLM apprennent très vite, ne nécessitent souvent que peu d’exemples ou d’instructions pour fonctionner. Personne ne pensait qu’ils deviendraient aussi performants, surtout aussi rapidement. Ils constituent une grande avancée technologique ».Leurs développements s’effectuent actuellement dans un joyeux désordre, stimulé par une avalanche de capitaux sans précédent qui nourrissent une compétition sans merci. Des entreprises comme OpenAI, les innombrables start-up qui ont suivi le mouvement, et évidemment les géants de la tech sont engagés dans une course ayant pour enjeu la suprématie dans les LLM, dont les applications semblent infinies. Dans un tel maelström, les précautions cèdent souvent le pas à la nécessité d’aller vite et de prendre de court la concurrence.

« J’ai du mal à répondre sur la question de la sécurité »

Antoine Bordes fut aux premières loges de cette course à l’innovation Je sais comment Llama a été conçu c’est une tâche impossible… « Peut-être » Les scientifiques étudient de multiples pistes, par exemple des systèmes où des réseaux de neurones seraient analysés par d’autres réseaux. Mais avec une architecture aussi vaste, explique Bordes, on touche là à des limites fondamentales.La progression de la complexité des grandes IA génératives ne semble pas vouloir marquer le pas, si l’on en juge par la profondeur de leur structure interne. A ce stade, une précision technique s’impose. La performance d’un modèle se mesure généralement au nombre de paramètres qu’il contient. Schématiquement, le paramètre est une valeur, une variable apprise par le modèle à partir des données d’entraînement (des millions de documents), qui lui sert à faire des prédictions lorsqu’on lui présente une situation inédite. De façon très grossière, on peut comparer cela aux mailles d’un immense tamis, chacune d’entre elles ayant une taille variable qui aurait été déterminée lors de la phase d’entraînement où le modèle doit ingérer un déluge de données.

Antoine Bordes  :

le graal ultime

l’AGI est une machine capable de résoudre des tâches extrêmement complexes avec peu de spécifications créé par Meta vous avez l’accès à GPT-4 dans sa version open source. Je vous souhaite bonne chance pour faire tourner votre application sur une grande échelle permettant de servir un million, voire un milliard d’utilisateurs… D’une façon générale, il est compliqué d’être juge et partie, comme c’est le cas pour OpenAI. En opposition à cela, on peut considérer deux façons de faire. Le premier est le principe de la recherche scientifique avec open sourcing, contributions scientifiques, donc évaluation par les pairs. C’est un système qui marche depuis longtemps. Et lorsqu’il n’est pas possible de publier pour des questions de secret industriel, on fait autrement. Prenons un secteur comme la pharmacie, fermé et ultracompétitif. Il est soumis à des processus de certification très clairs par les agences sanitaires, qui vont exiger des tests avec toute la transparence nécessaire. Par la suite, il y a un système de brevets qui va protéger l’entreprise. »Quid des ressources nécessaires en personnel et matériel pour mener ces certifications ? « Une agence de contrôle, qu’elle soit mondiale, nationale ou européenne, doit avant tout avoir le pouvoir d’agir. Il faut en tout cas qu’elle soit mondiale. L’AIEA (l’Agence internationale de l’énergie atomique) en est un bon exemple. Ensuite, cette agence doit être en mesure d’imposer son tempo pour mener à bien ses vérifications. Si elle doit retarder de six mois la sortie d’un modèle, alors tant pis. » Toute régulation suppose, pour un Etat ou une administration, d’avoir une ou plusieurs agences dotées de ressources techniques importantes. Or, les ingénieurs capables de comprendre ces modèles sont rares, donc très recherchés et onéreux. « Les compétences, elles existent évidemment aussi en dehors des entreprises. Des universités, des centres de recherche disposent de nombreux chercheurs capables d’étudier ces modèles et de poser les bonnes questions. On pourrait créer un consortium avec des institutions en Europe et aux Etats-Unis. Il y aurait sans doute quelque chose d’intéressant à faire avec l’IA Act qui serait d’imposer l’accès des LLM à, par exemple, dix grandes universités. C’est une idée qui aurait beaucoup de soutien dans la communauté des développeurs de LLM. » Puisse l’Union européenne entendre cette suggestion.