Vers une baisse du prix de la ram ?
Comment une innovation logicielle a permis une révolution matérielle. Google a sorti TurboQuant qui va révolutionner l'IA et par ricochet le cours des ventes matérielles.
Vous le savez peut-être IA rime avec puissance de calcul et mémoire. Donc il faut à la fois des puces de calcul de type TPU, NPU ou GPU et de la VRAM.
L'explosion de l'IA a par répercussion augmenté drastiquement les prix du hardware ces dernières années. La demande étant tellement forte, on arrive à une pénurie de la rame qui a un impact immédiat sur le marché des consommateurs, c'est-à-dire les particuliers.
Le prix de la RAM a fait presque x10 en même temps un an. Et aujourd'hui, il est devenu presque impossible de s'offrir de la DDR5 à prix raisonnable.
Du moins, c'était le cas jusqu'à ce que Google sorte une innovation logicielle qui risque de basculer le cours des choses.
TurboQuant, à quoi ça sert ?
C'est une optimisation d'algorithme permettant la réduction du nombre de bits utilisés pour stocker les vecteurs.
Grâce à ce procédé, on n'a plus besoin d'autant de VRAM pour pouvoir disposer d'un contexte plus dense. Ainsi, Google fait en sorte qu'on ait besoin de moins de matériel pour faire tourner des modèles plus gros.
Concrètement:
Ce qui est intéressant:
- KV (key-value) cache compressé à 3 bits sans fine-tuning
- 6× moins de mémoire pour le cache d'attention
- 8× plus rapide sur GPU H100 en 4 bits vs. 32 bits non quantifié
- Aucune perte de précision sur les benchmarks longs contextes (LongBench, Needle in a Haystack…)
Quid du prix de la VRAM ?
Certaines sociétés qui s'étaient lancées dans un achat compulsif de matériel directement à la source des fournisseurs afin d'avoir le stock le moins cher possible se retrouvent désormais coincées avec du stock qui va s'écrouler en termes de valeur marchande.
Je parle ici de Nvidia, d'OpenAI, toutes ces sociétés qui s'étaient procurées énormément de VRAM/HBM directement auprès de SK Hynix, de Samsung, Micron etc.
Mais pour le particulier, il risque tout de même d'y avoir une latence avant que les prix se stabilisent de nouveau, bien qu'on puisse déjà constater une baisse.
Le kit de 600€ est désormais dans les 250€, mais je rappelle qu'à l'époque le kit était à 150€ grand maximum.
FAQ
C'est quoi exactement TurboQuant et pourquoi c'est important ?
TurboQuant est une technique logicielle de Google qui compresse les données utilisées par les modèles d'IA en réduisant le nombre de bits nécessaires pour les stocker. Résultat : on peut faire tourner des modèles plus puissants avec beaucoup moins de mémoire, ce qui réduit mécaniquement la demande en VRAM.
Est-ce que les prix de la RAM vont vraiment baisser pour les particuliers ?
Une baisse est déjà amorcée, avec des kits DDR5 qui sont passés d'environ 600€ à 250€. Mais les prix ne reviendront probablement pas au niveau d'avant la crise des 150€, du moins pas immédiatement.
Pourquoi des entreprises comme Nvidia ou OpenAI sont-elles pénalisées par cette innovation ?
Ces acteurs avaient stocké massivement de la VRAM et de la HBM à prix élevé pour sécuriser leur approvisionnement. Avec la baisse de la demande induite par TurboQuant, la valeur de ce stock risque de s'effondrer sur le marché.
Est-ce qu'on perd en qualité avec cette compression à 3 bits ?
Selon Google, non : TurboQuant ne nécessite pas de réentraînement du modèle et ne montre aucune perte de précision sur les benchmarks de référence testés, y compris sur des tâches à très long contexte.
Alexandre P.
Développeur passionné depuis plus de 20 ans, j'ai une appétence particulière pour les défis techniques et changer de technologie ne me fait pas froid aux yeux.
Poursuivre la lecture
