TITRE : Les modèles d'intelligence artificielle ont encore beaucoup à apprendre de l'enfance
CONTE-NUE :
TITRE : Les modèles d'intelligence artificielle ont encore beaucoup à apprendre
Les dernières avancées dans le domaine de l'intelligenceartificielle (IA) ont été nombreuses ces derniers temps. Les modèles peuvent maintenant tenir des conversations naturelles, écrire des textes complexes et maîtriser la grammaire avec une facilité qui semblait inatteignable il y a quelques années. Cependant, ils nécessitent encore des quantités énormes d'informations pour accomplir ce que les enfants apprennent presque sans effort : utiliser leur langue maternelle.
Alors qu'un enfant peut acquérir une grande partie des structures fondamentales du langage en se trouvant exposé à des dizaines de millions de mots, les grands modèles sont entraînés avec des milliards de fragments de texte. Cette immense différence, connue sous le nom de "breche d'efficacité des données", est devenue l'un des grands énigmes tant pour les chercheurs en IA que pour les scientifiques qui étudient le développement infantile. Comprendre comment les enfants parviennent à apprendre autant avec si peu pourrait permettre de construire des modèles plus efficaces et, en même temps, révéler de nouvelles pistes sur la façon dont le cerveau humain apprend réellement.
Un enfant nécessite une fraction des données que consomme une IA, selon les chercheurs du projet BabyLM. Les enfants peuvent acquérir le langage en étant exposés à moins de 100 millions de mots, tandis que les grands modèles de langage ont généralement besoin de trois à quatre ordres de grandeur plus de données pour atteindre un comportement linguistique avancé. De plus, les enfants ne se contentent pas de memoriser des mots. Ils apprennent à interpréter des phrases qu'ils n'ont jamais entendues auparavant, déduisent des règles grammaticales, comprennent qui fait quoi dans une phrase, découvrent que le même mot peut être utilisé dans des contextes différents et sont capables de générer des combinaisons complètement nouvelles.
Le projet BabyLM Challenge est l'une des initiatives qui tentent de comprendre pourquoi l'apprentissage infantile est si efficace. Cette compétition internationale invite les chercheurs à entraîner des modèles avec des quantités d'informations beaucoup plus proches de celles à quoi un enfant est exposé. Les corpus comprennent environ 100 millions de mots, ainsi que des modalités encore plus restrictives de 10 millions de mots. Les données proviennent de sources considérées relativement plausibles du point de vue du développement, telles que des conversations dirigées vers les enfants, des livres pour enfants, des dialogues, des sous-titres et certains textes de Wikipédia. L'objectif n'est pas de créer le chatbot commercial le plus puissant, mais de découvrir quels sont les architectures, les types de données et les stratégies qui permettent d'apprendre le plus avec le moins d'informations. Et les résultats sont déjà surprenants pour beaucoup. Par exemple, l'une des stratégies les plus utilisées lors des premières éditions a été le "curriculum learning", consistant à présenter d'abord des exemples linguistiques simples et à augmenter progressivement leur difficulté. Cette idée paraît intuitive car elle rappelle la façon dont les adultes parlent aux enfants : ils commencent par des phrases simples avant d'introduire des structures plus complexes. Cependant, les études menées au sein de BabyLM montrent que l'ordonnancement des données de cette manière n'a pas systématiquement offert de meilleurs résultats que l'entraînement des modèles sans ce curriculum.