Ouvrir le menu principal

MacGeneration

Recherche

Pour Apple, chez les LRM, « On n'pense pas, Monsieur, On n'pense pas »

Pierre Dandumont

lundi 09 juin 2025 à 15:45 • 18

Ailleurs

Apple publie de temps en temps des études sur les LLM — les grands modèles de langage — et la dernière, opportunément publiée un peu avant la WWDC de 2025, est assez critique : selon les chercheurs, les LRM ne pensent pas mais ont une capacité de mémorisation intéressante dans certains cas, ce qui ne devrait pas nécessairement étonner tout le monde mais fait parfaitement illusion.

Le papier s'intéresse spécifiquement au LRM, pour Large Reasoning Models. Ces versions plus évoluées des LLM classiques sont en théorie prévues pour améliorer les capacités de raisonnement des modèles. Les chercheurs d'Apple ont évalué o1 et o3 (OpenAI), DeepSeek-R1, Claude 3.7 Sonnet Thinking et Gemini Thinking. Un des problèmes, selon eux, est que les tests employés habituellement sont biaisés, notamment parce que les données sont parfois présentes dans le corpus qui a servi à l'entraînement. Pour éviter ce biais, ils ont utilisé des casse-têtes logiques en modifiant les règles et la complexité.

Les résultats montrent une bonne efficacité sur une complexité moyenne. Image Apple.

Les résultats montrent d'abord que les LLM classiques trouvent plus rapidement et plus efficacement la réponse sur les problèmes dont la logique est simple. Quand la logique est plus complexe, les LRM prennent l'avantage sur les LLM, et quand les problèmes sont très complexes, aucune des deux technologies n'est capable de proposer une réponse correcte. Une des raisons des performances moins élevées sur les problèmes simples vient d'un phénomène de surréflexion : les LRM ont tendance à évaluer des résultats incorrects avant d'arriver à la solution attendue.

Un des cas intéressants qui montre parfaitement le biais des tests est celui des tours de Hanoï. C'est un casse-tête logique assez courant, que beaucoup de développeurs ont probablement codé pendant leurs études. Vous connaissez peut-être le principe de base : il y a n disques, du plus petit au plus grand, et trois tours. Les disques sont rangés du plus grand (en bas) au plus petit (en haut) et il faut déplacer l'ensemble des disques de la tour de gauche à celle de droite. Les règles sont simples : un disque à la fois, et uniquement en plaçant un disque sur un emplacement vide ou un disque plus grand. Avec ce casse-tête, les LRM proposent une solution parfaite dans pratiquement tous les cas avec 5 disques (ce qui nécessite 31 mouvements) et ne commencent à commettre des erreurs qu'à partir de 10 disques et une centaine de mouvements.

La résolution des tours de Hanoï (avec 4 disques). André Karwath, CC BY-SA 2.5.

Dans le problème du passage de la rivière, la donne est différente. La version exacte du problème est expliquée dans les appendices (la page Wikipedia donne quelques exemples), mais le but est de transporter des personnes d'une rive à une autre avec des contraintes sur les couples possibles, tout en sachant que le bateau doit transporter au moins une personne. C'est un problème largement moins étudié que le précédent, avec de nombreuses variantes, et les LRM échouent dès que le nombre de mouvements nécessaires est de 11.

Selon les chercheurs, les raisons de ces disparités ne viennent pas de la complexité elle-même des casse-têtes, mais bien du fait que les tours de Hanoï sont très étudiées et que de nombreuses solutions se trouvent a priori dans les données d'entraînement des LRM. Ce n'est donc pas un raisonnement à proprement parler qui permet au LRM de résoudre le problème, mais une mémorisation des étapes nécessaires. A contrario, le second problème est moins étudié et moins formalisé, et les capacités de raisonnement bien trop limitées (ou absentes) pour résoudre efficacement le casse-tête.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

La version Mac de Cyperpunk 2077 analysée par des spécialistes des jeux vidéo

16:23

• 9


Vos données sont déjà parties. Que peut-on encore faire ? 📍

10:22

• 0


À contre-courant : pourquoi Stéphane ne porte pas d’Apple Watch

10:00

• 60


La faille ayant mis SharePoint à terre viendrait d’un partenaire de sécurité informatique de Microsoft

25/07/2025 à 21:30

• 22


Intel prévoit la suppression de 15 % de ses effectifs, et annule les projets en Europe

25/07/2025 à 19:45

• 39


Avec Opal, Google veut permettre à n’importe qui de créer une app

25/07/2025 à 14:51

• 34


Les puces « Made in USA » de TSMC sont plus onéreuses : quelles conséquences pour Apple ?

25/07/2025 à 13:36

• 41


OpenAI : GPT-5 devrait être lancé au mois d'août

25/07/2025 à 12:45

• 11


Tout ce que l'on sait du futur et premier iPhone pliant

25/07/2025 à 12:11

• 13


MacBook Air M4 : la chute des prix se poursuit sur ce nouvel incontournable 🆕

25/07/2025 à 12:10

• 134


Craft, Unclutter, Rocket Typist : de grosses réductions sur plusieurs apps Mac

25/07/2025 à 11:25

• 1


Plus de deux ans après sa sortie, Dead Island 2 est enfin disponible sur Mac

25/07/2025 à 09:33

• 12


Starlink : une défaillance logicielle a plongé le réseau dans le noir à travers le monde

25/07/2025 à 08:17

• 66


Nordnet et NordVPN ne veulent pas perdre le nord

25/07/2025 à 07:30

• 20


Starlink, le service de connexion par satellite, affronte une panne mondiale

24/07/2025 à 22:05

• 45


Douze nouveaux fonds d'écran dans CarPlay avec iOS 26

24/07/2025 à 21:45

• 14