Ouvrir le menu principal

MacGeneration

Recherche

Pour Apple, chez les LRM, « On n'pense pas, Monsieur, On n'pense pas »

Pierre Dandumont

lundi 09 juin 2025 à 15:45 • 18

Ailleurs

Apple publie de temps en temps des études sur les LLM — les grands modèles de langage — et la dernière, opportunément publiée un peu avant la WWDC de 2025, est assez critique : selon les chercheurs, les LRM ne pensent pas mais ont une capacité de mémorisation intéressante dans certains cas, ce qui ne devrait pas nécessairement étonner tout le monde mais fait parfaitement illusion.

Le papier s'intéresse spécifiquement au LRM, pour Large Reasoning Models. Ces versions plus évoluées des LLM classiques sont en théorie prévues pour améliorer les capacités de raisonnement des modèles. Les chercheurs d'Apple ont évalué o1 et o3 (OpenAI), DeepSeek-R1, Claude 3.7 Sonnet Thinking et Gemini Thinking. Un des problèmes, selon eux, est que les tests employés habituellement sont biaisés, notamment parce que les données sont parfois présentes dans le corpus qui a servi à l'entraînement. Pour éviter ce biais, ils ont utilisé des casse-têtes logiques en modifiant les règles et la complexité.

Les résultats montrent une bonne efficacité sur une complexité moyenne. Image Apple.

Les résultats montrent d'abord que les LLM classiques trouvent plus rapidement et plus efficacement la réponse sur les problèmes dont la logique est simple. Quand la logique est plus complexe, les LRM prennent l'avantage sur les LLM, et quand les problèmes sont très complexes, aucune des deux technologies n'est capable de proposer une réponse correcte. Une des raisons des performances moins élevées sur les problèmes simples vient d'un phénomène de surréflexion : les LRM ont tendance à évaluer des résultats incorrects avant d'arriver à la solution attendue.

Un des cas intéressants qui montre parfaitement le biais des tests est celui des tours de Hanoï. C'est un casse-tête logique assez courant, que beaucoup de développeurs ont probablement codé pendant leurs études. Vous connaissez peut-être le principe de base : il y a n disques, du plus petit au plus grand, et trois tours. Les disques sont rangés du plus grand (en bas) au plus petit (en haut) et il faut déplacer l'ensemble des disques de la tour de gauche à celle de droite. Les règles sont simples : un disque à la fois, et uniquement en plaçant un disque sur un emplacement vide ou un disque plus grand. Avec ce casse-tête, les LRM proposent une solution parfaite dans pratiquement tous les cas avec 5 disques (ce qui nécessite 31 mouvements) et ne commencent à commettre des erreurs qu'à partir de 10 disques et une centaine de mouvements.

La résolution des tours de Hanoï (avec 4 disques). André Karwath, CC BY-SA 2.5.

Dans le problème du passage de la rivière, la donne est différente. La version exacte du problème est expliquée dans les appendices (la page Wikipedia donne quelques exemples), mais le but est de transporter des personnes d'une rive à une autre avec des contraintes sur les couples possibles, tout en sachant que le bateau doit transporter au moins une personne. C'est un problème largement moins étudié que le précédent, avec de nombreuses variantes, et les LRM échouent dès que le nombre de mouvements nécessaires est de 11.

Selon les chercheurs, les raisons de ces disparités ne viennent pas de la complexité elle-même des casse-têtes, mais bien du fait que les tours de Hanoï sont très étudiées et que de nombreuses solutions se trouvent a priori dans les données d'entraînement des LRM. Ce n'est donc pas un raisonnement à proprement parler qui permet au LRM de résoudre le problème, mais une mémorisation des étapes nécessaires. A contrario, le second problème est moins étudié et moins formalisé, et les capacités de raisonnement bien trop limitées (ou absentes) pour résoudre efficacement le casse-tête.

Rejoignez le Club iGen

Soutenez le travail d'une rédaction indépendante.

Rejoignez la plus grande communauté Apple francophone !

S'abonner

Refurb Apple : les premiers MacBook Air M4 sont arrivés en France, Suisse et Belgique 🆕

06:59

• 7


Avec iPadOS 26, Apple cède et apporte la gestion des fenêtres de macOS à l’iPad

19/06/2025 à 22:29

• 10


La bataille des sites pornos s'intensifie, et s'étend à l'Union européenne

19/06/2025 à 21:00

• 65


macOS 26 : des réglages dans Mail pour marquer les messages comme lu

19/06/2025 à 17:01

• 9


Synology étend sa gamme 2025 avec le DS725+ : deux baies, SSD NVMe et limité sur les disques durs

19/06/2025 à 16:30

• 9


Big Man : un nouveau court métrage filmé à l’iPhone 16 Pro avec le rappeur Stormzy

19/06/2025 à 16:12

• 2


Apple envisage d’utiliser l’IA pour accélérer le développement de ses puces

19/06/2025 à 15:44

• 20


B&You Pure fibre : les frais de mise en service temporairement offerts sur cette offre star

19/06/2025 à 13:01

• 57


iPadOS 26 : Craig Federighi détaille le raisonnement derrière le nouveau multitâche

19/06/2025 à 12:37

• 74


Pour John Gruber, Apple s’est dévalorisée en boycottant son émission après ses critiques sur Siri

19/06/2025 à 10:14

• 39


Obtenez les meilleures applications Microsoft Office conçues spécialement pour Mac à petit prix 📍

19/06/2025 à 09:30

• 0


MacBook Air M4 : la chute des prix se poursuit encore sur ce nouvel incontournable 🆕

19/06/2025 à 07:00

• 111


Nintendo n’hésite pas à briquer toute Switch 2 utilisée avec une cartouche modifiée

19/06/2025 à 06:29

• 100


iPhone pliable : la production commencerait d’ici la fin de l’année, pour une sortie en 2026

19/06/2025 à 06:29

• 63


Donald Trump affirme qu’Apple va acheter un nombre conséquent de Trump Card

18/06/2025 à 21:15

• 49


LG commercialise son téléviseur transparent à 49 999 €

18/06/2025 à 20:15

• 25