Que vaut GPT 5.5 ?
Comparatif IA sur un jeu 3D en one-shot : vitesse, coût, fun… J'ai été assez surpris !
Un avis honnête en quelques mot de GPT 5.5 ?
C'est une bête !
Je suis choqué de sa puissance !
Le test
J'ai lancé un test pour faire un jeu Hotdog Simulator en 3D.
Le but: faire des sandwichs très vite pour les clients qui arrivent.
Et j'ai testé ce prompt sur 3 models:
- Opus 4.7 en High
- Deepseek v4 Pro en High
- ChatGPT Codex 5.5 High
Benchmark
Nos trois models sont lancés, j'ai un compte GPT à 20$, un compte Claude à 90€ et une clé Deepseek avec 50$ de crédits.
Nous allons évaluer les models sur la pertinence, la vitesse, le coût.
Deepseek v4 Pro (High Thinking)
Vitesse: Lent ! (environ 10 minutes).
Pertinence: Bon. C'est perfectible mais c'est bon, quelques petits problèmes d'affichage mais, ok pour le gameplay.
Coût: 0.14$ pour le faire. C'est dérisoire.
Opus 4.7 (High Thinking)
Vitesse: Moyen. (environ 8 minutes).
Pertinence: Mauvais. Le jeux est très buggy, on ne peut rien faire. Aucune action ne fonctionne comme prévu. Certes, il y a un menu etc... mais on ne peut rien saisir etc, juste voir et bouger.
Coût: Alors difficile à dire car j'ai un abonnement. Mais j'ai démarré sur une nouvelle session sur un plan Max x5 et il a tout de même consommé 8% de mes tokens sur une fenêtre de 5h.
GPT 5.5 (High Thinking)
Vitesse: Lent ! (un peu plus de 10 minutes car il a fixé plusieurs problèmes seul).
Pertinence: Bon ! Il est un cran au dessus des autres models sur la boucle de gameplay car vraiment plus "fun" et fonctionnel. Même s'il y a quelques petites incohérences également.
Coût: Il a consommé 14% d'un plan à 20$. Je trouve ça plutôt efficace, surtout que c'est un gros model.
Bilan
Vous l'aurez compris je suis conquis par GPT 5.5.
D'ailleurs Deepseek v4 s'en est pas mal tiré pour le rapport qualité/prix.
En revanche je ne comprends pas ce que m'a fait Opus 4.7.
C'est assez terrible ce qu'a rendu Claude... Peut être que les rumeurs qui parlent d'une limitation de ses performance sont fondées parce que ce qu'il a pondu n'a aucun sens et est inexploitable.
Dans ces conditions, je peux largement mettre GPT 5.5 loin devant, pour le prix que je paie, les 20$ sont très très rentables !
FAQ
GPT 5.5 est-il vraiment meilleur que ses concurrents pour générer du code de jeu ?
Sur ce test en one-shot, GPT 5.5 a produit un jeu jouable et plus fun que les deux autres, même s'il reste quelques incohérences. Il s'est aussi autocorrigé en cours de génération, ce qui explique un temps légèrement plus long.
Pourquoi Opus 4.7 a-t-il si mal performé ici ?
Le résultat était quasiment inutilisable : le jeu s'affichait mais aucune interaction ne fonctionnait. L'auteur soulève l'hypothèse d'une limitation volontaire des performances de Claude, sans pouvoir en être certain.
Deepseek v4 Pro vaut-il le coup financièrement ?
Oui, c'est le grand gagnant sur le rapport qualité/prix : 0,14$ pour un résultat correct et jouable, c'est difficile à battre. Le principal défaut reste sa lenteur, autour de 10 minutes.
Quel est le coût réel d'une génération avec GPT 5.5 ?
Sur un abonnement à 20$, une génération complète a consommé environ 14% du quota mensuel. Pour un modèle de cette taille et avec la qualité obtenue, l'auteur juge ça rentable.
Ces résultats sont-ils généralisables à d'autres types de projets ?
Ce test porte sur un unique prompt en one-shot pour un jeu 3D simple, donc les conclusions ne s'appliquent pas forcément à d'autres contextes comme la génération de texte, l'analyse de données ou des projets plus complexes.
Alexandre P.
Développeur passionné depuis plus de 20 ans, j'ai une appétence particulière pour les défis techniques et changer de technologie ne me fait pas froid aux yeux.
Poursuivre la lecture
