Le vrai problème des films générés par IA n'est pas la qualité d'un plan. C'est la cohérence entre les plans.
Je l'ai vu sur tous les tests multi-plans que j'ai faits : la bibliothèque change de place entre deux prises, la porte disparaît quand la caméra revient, et un personnage traverse une pièce qui n'a plus la même forme. Le dépôt ATAS (Any Time, Any Space), publié par le ZIP Lab de l'université du Zhejiang avec Monash, Berkeley et Adelaide, attaque exactement ce point.
Et l'idée est simple : au lieu de demander au modèle vidéo de "se souvenir", on maintient un état du monde persistant derrière tout le film, et chaque plan est généré en projetant ce monde dans la vue demandée.
Concrètement, le pipeline découpe le boulot en briques bien séparées :
- un compilateur qui transforme un scénario texte en requêtes de plans (scène, caméra, moment, événement)
- une mémoire de scène qui stocke la géométrie statique de chaque lieu dans un repère commun, pour pouvoir y revenir sous n'importe quel angle
- une mémoire d'événements indexée par scène et par temps, pour refilmer un moment passé depuis un autre point de vue
- une validation stricte : chaque clip généré est reconstruit en 3D (Pi3X + SAM 3), recalé, et ne met à jour le monde que s'il passe tous les contrôles
C'est du design de système, pas de la magie de prompt.
Et c'est précisément ce que j'attends d'un framework agentique sérieux : la mémoire est un état explicite, versionné, validé, pas un contexte qu'on espère voir survivre.
Mais il faut bien retenir une chose : c'est un projet de recherche (1 commit, 87 étoiles au moment où j'écris, licence MIT), pas un produit. Côté installation, il vous faut une machine NVIDIA avec environ 20 Go de VRAM libre pour le service géométrique, et une clé DashScope (l'API d'Alibaba Cloud) pour la génération côté client, donc ce n'est pas 100 % local.
Bon point quand même : relancer la même commande reprend là où le run s'est arrêté sans repayer les générations déjà faites, ce qui évitera de saigner vos crédits au troisième crash.
Combien de temps les gros acteurs de la vidéo IA vont mettre avant d'intégrer ce genre de monde persistant dans leurs propres outils ?
Repository ici
