Mon sentiment sur l'évolution des modèles IA

De plus en plus de modèles sortent en annonçant des chiffres incroyables sur les tests SWE-Bench et autres benchmark communs pour IA.

Je pense qu'il faut se méfier...

J'en ai déjà parlé dans mon article sur les benchmark beaucoup de modèles s'entraînent directement sur les benchmarks rendant les scores inutiles.

Quand je vois plusieurs modèles chinois qui, certes ne sont pas mauvais, mais avoir des top scores en benchmark et une utilisation réelle qui ne reflète pas du tout ce niveau... Je trouve que c'est vraiment exagéré.

C'est pourquoi, je tenais à parler du sujet de la taille des modèles et ma vision future pour ces derniers.

Je pense qu'on a besoin d'un minimum de compréhension des choses à savoir comprendre ce qui est vivant, ce qui ne l'est pas (animal vs objets), les propriétés des objets (combien de roues sur une voiture, une moto, un avion ça vole...).

Mais qu'au delà d'une base assez simple, ils n'ont pas besoin d'aller plus loin, et devraient puiser dans un encyclopédie si besoin au moment voulu (lors du runtime). -Au passage c'est exactement ce que fera Deepseek Engram-

Cela permettrait d'alléger de beaucoup les modèles à l'entrainement et en inférence (exploitable sur un petit GPU).

De même, on devrait avoir des modèles hyper spécialisés pour réduire davantage leur taille:

• un modèle expert Typescript (qui connait des bases d'algo, de databases et de JS/TS, sans avoir besoin d'aller jusqu'à savoir comment fonctionne le langage Visual Basic ou encore le Haskell).
• un autre modèle pour un autre langage
• un modèle expert en DB, etc...

Ces petits modèles hyper spécialisés, probablement existants dans le MOE devraient être extraits des MOE pour en faire des standalone de petite taille.

Je suis persuadé que ça pourrait fit sur un petit GPU de 8go et tourner en local à pleine performance.

Je pense que faire la course à plus de paramètres (les sociétés qui se vantent d'avoir un modèle de 1T de params) c'est totalement overkill...

L'avenir nous le dira, mais cette surenchère ne fait aucun sens, et entraine un besoin sans limite de VRAM, de consommation, etc...

Quand on voit qu'aujourd'hui Claude bride déjà les performances de son modèle pendant les heures de pointe parce qu'il ne tiennent pas la charge.

Ce modèle n'est pas viable et Yann Lecun a totalement raison.