La théorie des langages formels, initiée par Noam Chomsky, introduit une différence fondamentale entre les grammaires à états finis, et celles dépendantes du contexte : seules ces dernières sont capables de représenter des structures enchâssées, récursives, qui sous-tendent la représentation mentale des langues humaines. L’hypothèse de Hauser, Chomsky et Fitch est que seule notre espèce est capable de récursion. De nombreux travaux expérimentaux ont tenté de réfuter ce postulat en tentant d’apprendre, à diverses espèces d’oiseaux chanteurs, une grammaire artificielle dite « AnBn », c’est-à-dire une série de n sons A suivis de n sons B. Cette grammaire présente l’intérêt de nécessiter une grammaire dépendante du contexte, et son apprentissage, dans l’espèce humaine, semble faire intervenir l’aire de Broca. Certains ont prétendu que les oiseaux chanteurs pouvaient apprendre ce type de grammaire, mais de nombreux arguments aussi bien théoriques que pratiques suggèrent que ces recherches ne sont pas convaincantes : le comportement des animaux est souvent peu spécifique, insuffisamment évalué, sans analyse des performances individuelles, et trop d’interprétations alternatives demeurent tenables.
Récemment, cependant, avec une approche très différente, l’équipe de Liping Wang et moi-même avons démontré que les singes macaques sont capables d’apprendre une grammaire « en miroir », avec des séquences de type ABBA, ABCCBA, etc., où la seconde partie répète la première en miroir temporel. Ils y parviennent dans un contexte visuo-spatial et non auditif : leur mémoire spatiale leur permet de répéter une séquence en avant comme en arrière. Ainsi, le cerveau du singe macaque possède la capacité d’apprendre un langage supra-régulier, une grammaire indépendante du contexte (mais pas forcément toutes ces grammaires). Au strict minimum, la résolution de cette tâche nécessite une pile « last in, first out ». La singularité de l’espèce humaine pourrait résider dans la vitesse avec laquelle ce type de règle est découvert : les jeunes enfants d’âge préscolaire découvrent la règle en cinq essais maximum, et l’appliquent ensuite presque parfaitement, alors qu’il faut plusieurs dizaines de milliers d’essais aux singes macaques pour parvenir à une performance imparfaite. Le cerveau humain semble donc biaisé vers l’apprentissage rapide de règles et de structures enchâssées.
