J'ai testé 6 models de code différents, voici mon constat

Oui, cela fait un petit moment que j'utilise les models pour accélérer mes devs.

L'IA fait que les gens ont de moins en moins besoin de coder eux même. Ce qui fait que je poste un peu moins également, entre ça et ma fille...

Mais ! J'ai pris le temps de tester et aujourd'hui je vais vous faire un retour plutôt subjectif, de l'utilisation des models pour l'usage dev que j'en fait au quotidien. Donc, je vous propose un comparatif IA où je vais tester des models américains et chinois.

Je précise que cela reste sur mes technos de coeur: Typescript, React, etc... Même si je fais un peu de C/C++ ou de Python en fonction du besoin.

Je vais noter chaque model sur 100 en fonction de sa performance ressentie.

Les critères que je vais évaluer:

• La capacité à mener à bien un projet
• La capacité à exécuter sans avoir trop d'informations descriptives
• La capacité de tester différentes approches
• La capacité à s'auto évaluer et se corriger
• La capacité à respecter scrupuleusement des consignes

Les outils que j'ai utilisé pour coder avec l'IA

Pour coder avec l'IA, vous pouvez utiliser les outils des providers comme Claude Code proposé directement par Anthropic, ou encore Codex proposé par Open AI. Pour les models chinois, j'ai directement utilisé Opencode pour tout.

En revanche, j'ai généré mes clés sur chacune des plateformes, c'est à dire que je n'ai pas utilisé Open Router. J'ai vraiment besoin de transparence quand à l'I/O et le pricing, et puis ce n'est pas comme si c'était la mort d'aller sur une plateforme, créer un token et créditer un compte... Je ne suis pas encore aussi flemmard. Ahah

Et pour la visualisation et l'édition, j'utilise VSCode et Cursor (ça dépend).

Comparatif des models IA pour le code

Model	Prix /M token (output)	Perf sur 100
ChatGPT 5.2	14	65
Claude Opus 4.5	25	95
Claude Sonnet 4.5	15	85
Deepseek Reasoner	0.4	80
Kimi K2 0905	2.5	75
GLM 4.7	2.15	70

Observations

ChatGPT est en retrait par rapport aux autres, mais attention, cela dépend également de ce que vous voulez lui faire-faire. Il y a probablement des tâches dans lesquels il est bon, mais ce n'est pas le code, je pense plutôt à tout ce qui est texte et gen AI.

Claude c'est vraiment la bête du code, que ce soit Sonnet ou Opus. Mais j'utilise Sonnet pour des raisons évidentes de coûts, même s'il n'est déjà pas donné. Pour ce model, je recommande fortement les abonnements qui coûtent beaucoup moins cher que le "pay as you go" en API.

GLM a vraiment du mal à écouter les instructions, ce qui a tendance à fortement m'agacer. Pour beaucoup de gens (peut être ceux qui l'ont conçu), cela montre qu'il cherche des solutions par lui même. Mais mon problème, c'est que je suis réellement plus expert que lui sur ce que lui demande, dans la mesure, où la structure du projet a été faite par moi même. De plus, j'évolue beaucoup plus quand un model, lui, a tendance à drifter. Et avec GLM c'est ce qui saute aux yeux. Il a été entraîné sur des libs avec une documentation passée, et a tendance à ne pas se remettre en question.

D'ailleurs petite astuce pour vous tous, lorsque je prompte, je précise toujours à mon model:

"Règle importante, pars du principe que tu ne sais rien de la dépendance que tu utilises, consulte toujours la documentation avant de coder (npm, git ou via context7)".

Cette règle est hyper importante si vous voulez vous assurer que l'IA n'implémente pas un truc obsolète (le fameux drift).

Et malheureusement, la capacité de GLM à respecter cette règle est "QUASI NULLE !".

Deepseek est vraiment pas mauvais, de tous les models, je le mets en dessous de Claude Sonnet, parce qu'en exécution il se montre compétent. Et surtout... Il a un pricing qui lui donne un rapport qualité/prix imbattable ! C'est mon model de coeur si vous voulez savoir. Oui Claude est meilleur, mais à quel prix ?

Kimi est un peu le model moyen. Il sait bien coder, mais il galère beaucoup et surtout il faut repasser dessus, très souvent. Il est vendu comme un model révolutionnaire à N milliards de paramètres, mais tout cela, n'est que du marketing. Dans les faits, avec son MOE il va utiliser au maximum 32 Md de paramètres. J'ai fait un petit jeu HTML5, Phaser avec Kimi K2. De bout en bout, ça m'a couté 4€. Pour faire tout un projet, c'est peu, mais quand je compare à un Deepseek, c'est déjà beaucoup. En sachant, que Deepseek Reasoner avec le thinking mode, est tout de même meilleur qu'un Kimi K2 (thinking ou non).

Les contraintes quand on code avec l'IA

Ce n'est pas facile d'obtenir un résultat parfait, du moins, sans prompter un minimum. C'est pourquoi, pour accélérer mes prompts j'utilise du vocal avec Super Whisper afin de fluidifier au maximum le process.

Sans avoir trop de contexte, l'IA se lance à corps perdu dans un grand n'importe quoi au lieu de demander plus de détail sur ce que l'utilisateur veux vraiment. Et pour moi cette capaciter à creuser le besoin, c'est non seulement une marque d'intelligence, mais aussi, c'est la garantie d'un meilleur résultat, au détriment du temps passé à répondre.

De même, le contexte devient également une limite car, de model en model (oui j'écris model en anglais) sa taille varie. Et plus le contexte est limité, plus l'IA va oublier des instruction, ou se retrouvé bloqué. C'est pourquoi, ici aussi on doit y répondre avec une stratégie d'outillage: la planification.

Il y a différents modes de planification:

• des outils comme BMAD
• un prompt séquencé

Vous permette d'abord de demander à l'IA de dresser un plan d'action.

Ce que je vous conseille, c'est de toujours lui faire rédiger un document de target. Que ce soit un PRD.md, un goal.md, une base sur laquelle il va s'appuyer pour commencer à travailler.

Voici les étapes que je respecte:

• Faire un document descriptif de la target du projet (docs/PRD.md...) je fourni souvent un guideline.md où je donne toutes mes specs de code et les rules
• A partir de ce document, créer les stories docs/stories/.md séquencées par ordre de priorité, avec des statuts (PENDING, IN PROGRESS, TO REVIEW, DONE)
• Demander à l'IA d'exécuter chacune des stories (de manière à pouvoir arrêter à tout moment entre 2 stories) et de changer les status (pour éviter de le refaire)
• Faire la review des stories

Si vous respectez ces étapes, vous devriez avoir un projet béton.

Conclusion

Pour ceux qui se demandent, "mais ils sont où nos petits français là dedans ?". Et bien j'ai testé devstral, la solution de Mistral en local. C'est un model plus petit que l'on peut héberger soi-même et je l'ai fait tourné sur une RTX 5060 Ti. Je suis assez satisfait du résultat, je ferai des tests approfondis prochainement et j'en ferai un article.

Parenthèse fermée, je tiens à dire que le marché des models IA est en plein boom en ce moment, ce qui fait qu'il y a une révolution quasiment tous les mois. Un model dépasse l'autre et ainsi de suite, l'évolution va très vite !

Je suis obligé de reconnaître la supériorité des models d'Anthropic, Claude, c'est une bête de code. Egalement, je suis obligé de reconnaître le niveau incroyable des models chinois, la vitesse à laquelle ils ont rattrapé le marché (avec des contraintes matérielles). Ces mêmes contraintes qui ont fait évoluer notre façon de concevoir les IA. L'arrivée du Thinking mode grâce à Deepseek, les optimisations de models, le MOE amené par nos français de Mistral. De toute façon, on vivra encore des révolutions dans les mois à venir, surtout après l'annonce de Deepseek MHC.

Et pour tous les sceptiques qui se disent encore: non mais la qualité de code en IA c'est médiocre etc. J'en faisais partie, sachez que cette époque est révolue. Et si aujourd'hui vous obtenez encore de mauvais résultats quand vous utilisez l'IA, sachez que le seul à blâmer, c'est vous ! Ca fait 30 ans que je code, je suis passé par tellement d'étapes, j'ai travaillé sur des applications utilisés par des millions de gens, je pense vraiment être capable de reconnaître ou pas, du bon code.

Et je suis sérieux, aujourd'hui, l'IA c'est une extension de soi-même, à qui sait prompter. Donc, il n'y a pas de raison que votre model préféré ne sache pas organiser le code comme vous le feriez vous, pour peu que vous lui montrez.

Dès lors, il faut des models qui sachent écouter des instructions, ne pas en faire qu'à sa tête et là dessus, GLM et ChatGPT m'ont un peu déçu. C'est pourquoi je mets les autres models au dessus en matière d'exécution.

Maintenant, que vous avez toutes les informations pour faire un choix plus avisé, à vous de jouer !