GPT-5.5 : quand "moins de tokens" veut dire "mauvaise réponse"

OpenAI vend GPT-5.5 comme plus intelligent et surtout plus économe en tokens. Un rapport communautaire suggère que la deuxième moitié de la phrase cache un problème.

Un utilisateur a ouvert le capot, et il a trouvé un truc bizarre

Le 27 juin, quelqu'un a ouvert une issue sur le repo public de Codex.

Rien de spectaculaire au premier abord. Juste un dev qui a agrégé la télémétrie de Codex et qui a regardé les chiffres de près.

Et ce qu'il a trouvé, c'est que les réponses de GPT-5.5 tombent bizarrement souvent sur un nombre exact de tokens de raisonnement : 516.

Pas "autour de 516", pile 516.

Avec des pics secondaires à 1034 et 1552. Soit le même écart d'environ 518 tokens qui revient à chaque palier.

Sur un modèle de raisonnement, ça n'a aucune raison d'arriver.

Car le nombre de tokens de réflexion est censé varier avec la difficulté. Une tâche dure demande plus de raisonnement. Une tâche simple, moins.

Pas un plafond qui retombe toujours au même endroit, pour un seul modèle.

Les chiffres, parce que c'est là que ça devient sérieux

Ce qui rend cette issue intéressante, ce n'est pas le ressenti. C'est le volume de données.

Voici ce que le rapport avance, sur une fenêtre de février à fin juin 2026:

• 390 195 réponses analysées, sur 865 sessions
• GPT-5.5 pèse 19.3% des réponses de l'échantillon
• Mais il concentre 82% des réponses qui s'arrêtent pile à 516 tokens
• Sur GPT-5.5, 44% des réponses qui atteignent ou dépassent 516 s'arrêtent exactement à 516
• Sur les autres modèles, ce même ratio tombe à 1.3%

Donc le phénomène n'est pas réparti au hasard entre les modèles. Il est massivement concentré sur GPT-5.5, environ 33 fois plus que sur le reste.

Autre point qui pique. Sur la même période, le clustering à 516 a explosé (0.11% en février, 53 % en mai) pendant que l'intensité moyenne de raisonnement, elle, baissait (mean autour de 268 tokens en février, 107 en mai).

Traduction : le modèle réfléchit de moins en moins, et quand il s'arrête, il s'arrête de plus en plus souvent sur la même valeur.

Est-ce que ça se traduit par de vraies erreurs ?

Oui, apparemment.

Cette issue en complète une autre (#29353) qui décrivait déjà le cas précis : GPT-5.5 en xhigh qui court-circuite à 516 tokens et rend une réponse finale fausse.

Et sur Hacker News, quelqu'un a reproduit le truc à la main. Même prompt de raisonnement lancé 10 fois : 4 fois sur 10, court-circuit à 516 tokens, et à chaque fois la solution était fausse.

Les runs qui allaient jusqu'à 6000-8000 tokens, eux, tombaient juste.

Le détail qui me fait tiquer, c'est le xhigh.

Parce que xhigh, c'est le réglage où vous demandez explicitement au modèle de réfléchir à fond. C'est le mode "je paie pour du raisonnement maximum". Et c'est celui-là qui s'arrête à 516.

516, 1034, 1552 : pourquoi ça ne ressemble pas à du hasard

Regardez les valeurs. 516, puis 1034, puis 1552. Des paliers réguliers, pas une distribution qui s'étale naturellement.

L'hypothèse qui revient le plus côté technique, c'est un traitement du raisonnement par blocs d'environ 512 tokens, pour optimiser le débit à l'inférence. Des paliers qui sentent le batching ou une contrainte de scheduler, pas la variabilité d'un modèle qui pense librement.

Mais il faut être honnête sur ce qu'on sait et ce qu'on ne sait pas.

L'auteur du rapport le dit lui-même, noir sur blanc : ça ne prouve pas une troncature cachée de la chaîne de raisonnement. Sa revendication est plus étroite. La télémétrie montre une anomalie de clustering spécifique à GPT-5.5, compatible avec un comportement de budget de raisonnement à seuils.

Il y a aussi une rumeur (relayée par The Information) sur une optimisation qui aurait divisé par deux le coût d'inférence d'OpenAI. Tentant de faire le lien. Sauf que c'est une rumeur non confirmée, peut-être même issue d'une équipe externe, et rien ne dit qu'elle est en prod.

Donc je ne relaie pas ça comme un fait. Je le note comme une piste, parmi budget cap, routing, fallback et scheduler. La cause réelle, seul OpenAI la connaît, et pour l'instant l'issue n'a reçu aucune réponse officielle.

Le vrai sujet : moins de tokens, ce n'est pas moins cher

Voilà où je veux en venir.

OpenAI a vendu GPT-5.5 sur un argument simple : plus intelligent, et surtout plus économe en tokens que GPT-5.4. Mieux, avec moins.

Sur le papier, c'est exactement ce que vous voulez.

Sauf qu'un token de raisonnement en moins qui vous sort une mauvaise réponse, ce n'est pas une économie. C'est une facture reportée. Je m'explique.

Quand le modèle court-circuite à 516 tokens et sort une solution fausse, vous ne payez pas moins. Vous payez plus :

• le run raté
• le run de correction
• votre temps à comprendre pourquoi c'était faux
• et parfois le bug qui passe en prod parce que vous n'avez rien vu

Le coût par token baisse. Le coût par tâche réussie, lui, grimpe.

C'est ma rengaine depuis des mois. Le prix au token ne dit presque rien du coût réel. Un modèle "efficient" mesuré sur les tokens peut être ruineux mesuré sur les tâches.

Et là, on tient peut-être un cas d'école. Une optimisation qui améliore la métrique que le vendeur regarde (les tokens par réponse) en dégradant celle qui vous intéresse vraiment (les réponses correctes par euro).

Petite précision au passage, parce que ça compte. Le "moins de tokens" d'OpenAI est une donnée vendeur, auto-reportée. Le benchmark neutre qu'ils citent (l'Artificial Analysis Coding Index) mesure l'intelligence et le coût, pas ce genre de pathologie de fiabilité. Un bon score AA ne verrait même pas passer un court-circuit à 516.

OpenAI a-t-il bridé le modèle en douce ?

C'est la lecture facile. Le "ils ont rendu le modèle plus con exprès pour vous pousser à consommer".

Je vais être clair : rien ici ne le prouve.

Et cette lecture complotiste est même un genre en soi. À chaque nouveau modèle, la moitié du forum jure que la version d'avant était meilleure. C'est presque toujours invérifiable, parce qu'un humain est incapable d'évaluer objectivement la qualité d'un modèle dans le temps. On a vu exactement le même film sur Claude Code au printemps.

Ce qui rend ce cas-ci différent, c'est justement qu'il ne repose pas sur du ressenti. Il repose sur une distribution de tokens reproductible, avec des valeurs exactes, vérifiables par n'importe qui sur ses propres logs.

D'ailleurs, plusieurs lectures techniques penchent plutôt vers un défaut de harness ou une mauvaise config d'inférence que vers un sabotage volontaire. Un bridage discret serait plus propre que ça. Là, c'est grossier et visible.

Donc non, je ne sais pas si c'est intentionnel. Personne en dehors d'OpenAI ne le sait.

Et c'est précisément ça, le problème.