Test de Deepseek v4 Pro
J'essaie Deepseek v4 Pro sur du code. Finalement le test c'est bien mieux passé que prévu et je crois savoir pourquoi...
Je vous en parlais hier et j'appréhendais un peu.
Mais je redonne un peu de contexte et je vous explique pourquoi.
Deepseek a sorti sa v4 et alors que j'anticipais sur des performances moyennes parce que non seulement ils change d'architecture software mais aussi hardware, en passant sur du materiel 100% chinois via les puces Huawei Ascend.
Je me suis dis qu'ils auraient un double challenge:
- Refactor de leur architecture IA
- Adaptation sur du nouveau matériel sans drivers/frameworks Nvidia
Mais finalement après essais, ça se passe bien mieux que prévu.
Jusqu'à présent je lui ai fait faire des petites tâches et il s'en sort très bien.
Ai-je eu raison ou tort ?
Bon ou mauvais ? Un peu des deux !
En fait je pense que sur la partie "imagination" je ne dois pas trop me tromper et c'est aussi l'avis de mes confrères. Cette IA aura du mal à faire une chose qu'elle ne sait pas déjà faire.
En même temps c'est comme nous les humains, dès que c'est nouveau, on doit s'habituer...
Et puis, entre nous, à quoi ça sert de demander à ces models "Génère moi un chat qui tient un stand de ramen dans un univers en 3D au japon féodal. Il doit y avoir des passants qui viennent commander à manger et il faut servir ces passants..." 🙃
Mais lorsque je demande à Deepseek de faire du code avec le détail de ce que je veux, quand je lui demande de monter en version mes dépendances, de s'assurer du fonctionnement etc... IL EST EXCELLENT ! 🚀
Vraiment, Deepseek fait très bien son boulot et n'a pas à rougir.
Je lui ai fait faire la montée en version de 2 repositories: il a pris ~3-5 minutes sur ces projets, il a tout vérifié et fait ses PR, j'ai testé tout est ok !
A raison de ~13-14 centimes par run pour ces tâches... pour du Deepseek v4 Pro High, c'est très raisonnable !
Si vous voulez aller voir son boulot: https://github.com/aluzed/vite-react-ts-supabase
FAQ
Deepseek v4 Pro est-il vraiment efficace pour du code en conditions réelles ?
Oui, sur des tâches concrètes comme la montée en version de dépendances ou la vérification de projets, le modèle s'en sort très bien et produit des résultats fiables sans intervention manuelle.
Combien coûte une session de travail avec Deepseek v4 Pro High ?
Environ 13 à 14 centimes par run, ce qui reste très accessible même pour des tâches qui prennent plusieurs minutes sur un projet complet.
Le passage aux puces Huawei Ascend a-t-il dégradé les performances ?
Pas de manière visible sur les tâches de code testées. Malgré le double changement d'architecture logicielle et matérielle, les résultats sont au-delà des attentes initiales.
Y a-t-il des limites notables à ce modèle ?
Comme la plupart des modèles actuels, il reste moins à l'aise face à des demandes vraiment inédites ou créatives qu'il n'a pas déjà rencontrées, ce qui est une limite partagée par l'ensemble de l'écosystème IA.
Alexandre P.
Développeur passionné depuis plus de 20 ans, j'ai une appétence particulière pour les défis techniques et changer de technologie ne me fait pas froid aux yeux.
Poursuivre la lecture
