Le vrai gain sur l'inférence ne se joue plus dans le modèle, il se joue dans la puce.
Anthropic a confirmé le 5 août qu'elle constituait une équipe interne de conception de puces pour Claude.
C'est la première confirmation publique d'un projet que Reuters avait décrit en avril comme une simple exploration, et la méthode annoncée est le co-design: la puce et le modèle se façonnent mutuellement, comme Apple le fait sur ses M-series et Google sur ses TPU.
Mais il faut bien retenir une chose. Ce n'est pas une puce annoncée, c'est une équipe qui recrute, et Anthropic n'a précisé ni le calendrier, ni s'il s'agit d'entraînement ou d'inférence, ni si elle gère la fabrication.
- Salaires affichés entre 320 000 et 485 000 dollars par an
- La stratégie multi-chip est maintenue: AWS, Google, Nvidia, AMD
- Samsung a été évoqué comme partenaire de fabrication potentiel
Et personnellement, ça fait des années que je suis persuadé que l'optimisation restante est là.
Le GPU vient du jeu vidéo, on l'a détourné pour faire du calcul parallèle sur des matrices, et on paie cette généricité en watts et en latence.
C'est exactement le pari de Google avec ses TPU depuis 10 ans, et il va maintenant plus loin: un chip appelé Frozen v2 graverait une partie de l'architecture de Gemini directement dans le silicium, avec 6 à dix 10 plus de tokens par watt visés et un déploiement possible en 2028.
La logique ASIC appliquée à l'inférence, c'est-à-dire figer les décisions structurelles dans les transistors au lieu de les rejouer à chaque requête.
Là où je nuancerais mon propre raisonnement, c'est que le GPU s'est déjà largement ASIC-ifié de l'intérieur.
Les tensor cores, le FP8, le FP4, ce sont déjà des unités câblées pour la multiplication matricielle, pas du calcul générique. Donc le gain restant ne vient pas tant de l'arithmétique que du mouvement de données: en phase de décodage, on est limité par la bande passante mémoire et par le KV cache, pas par les FLOPs.
Et le vrai risque est temporel, parce qu'un cycle silicium prend 2 à 3 ans quand une architecture de modèle bouge en 6 mois. Google avait d'ailleurs une première version de Frozen qui gravait carrément les poids de Gemini, abandonnée parce que la durée de vie d'une puce liée à une seule version de modèle était trop courte.
Ce qui m'intéresse là-dedans, c'est le coût par tâche.
Tout le monde court après le prix au million de tokens alors que la vraie variable, c'est le nombre de watts consommés pour produire une réponse utile.
Si le co-design tient ses promesses, l'intelligence devient encore un peu plus une commodité et l'avantage se déplace vers ceux qui contrôlent leur pile.
Reste une question ouverte pour nous autres: quand les labs auront leur silicium propriétaire, est-ce qu'un dev indépendant aura encore un chemin crédible vers de l'inférence auto-hébergée, ou est-ce que l'écart de coût deviendra structurellement infranchissable?
