L'intelligence artificielle peine sur les maths de primaire, révèle une étude d'Apple

Une équipe de chercheurs d'Apple vient de mettre en lumière des failles importantes dans le raisonnement de l'intelligence artificielle (IA), notamment en ce qui concerne les chiffres et les mathématiques. Contrairement à ce que l'on pourrait penser, l'IA n'est pas aussi "intelligente" qu'on le croit, surtout quand il s'agit de résoudre des problèmes mathématiques de base, du niveau de l'école primaire.

Dans une étude récemment publiée intitulée "GSM-Symbolic : Comprendre les limites du raisonnement mathématique dans les grands modèles de langage", six chercheurs d'Apple démontrent que le raisonnement mathématique des modèles de langage avancés peut être imprécis et fragile.

Pour arriver à cette conclusion, les chercheurs ont utilisé le GSM8K, un ensemble de données contenant 8 000 problèmes mathématiques de niveau primaire, couramment utilisé pour tester les performances des modèles de langage. Ils ont ensuite légèrement modifié la formulation des problèmes sans en changer la logique, créant ainsi le test GSM-Symbolic.

Les résultats sont surprenants : lors de la première série de tests, les performances de l'IA ont chuté de 0,3 à 9,2 %. Plus frappant encore, dans la deuxième série où une phrase sans rapport avec la solution était ajoutée à certains problèmes, les performances se sont effondrées de 17,5 à 65,7 %.

Ces résultats ne surprendront peut-être pas certains d'entre nous qui ont déjà constaté les difficultés de l'IA face à des tâches simples impliquant des chiffres. En réalité, l'IA ne résout pas vraiment les problèmes mathématiques. Elle utilise plutôt une méthode de "correspondance de motifs" pour convertir des énoncés en opérations, sans véritablement comprendre leur signification.

Il semble que l'IA échoue à résoudre des problèmes mathématiques simples lorsque les mots sont trop confus ou ne suivent pas exactement le schéma attendu. En fin de compte, l'IA donne seulement l'illusion de "raisonner", alors qu'elle se contente en fait d'accumuler des données et de les traiter.

Que signifie cette découverte dans un contexte plus large ? Nous avons tous été très focalisés sur l'IA récemment, et certains en attendent des merveilles (je suis moi-même coupable de ce type de pensée). Mais elle a des limites sérieuses, et je ne suis pas sûr qu'elles puissent être facilement surmontées. Bien que je ne sois pas un expert en IA, il sera très intéressant de voir où la croissance de l'IA va stagner, en dehors des mathématiques bien sûr !

Cette étude nous rappelle que, malgré ses progrès impressionnants, l'IA a encore beaucoup de chemin à parcourir avant de pouvoir égaler certaines capacités humaines fondamentales, comme le raisonnement mathématique de base.