IA · 3 min de lecture
Genie 4 : DeepMind génère des mondes interactifs avec le son et se laisse diriger en direct
Google DeepMind a présenté le 27 octobre Genie 4, son modèle qui génère en temps réel un monde où l'on se déplace au clavier. Il produit le son en même temps que l'image, accepte des consignes écrites pendant la simulation et tient une scène cohérente environ deux minutes, deux fois plus que Genie 3. Seuls des testeurs choisis y ont accès, les abonnés Google AI Ultra suivront dans les prochaines semaines.
Google DeepMind a publié le 27 octobre l'annonce de Genie 4, son nouveau modèle de monde. On lui donne un texte ou une image de départ, il génère une scène en temps réel, et l'utilisateur s'y déplace au clavier et à la souris comme dans un jeu vidéo. Genie 3 était sorti un peu plus d'un an plus tôt, en préversion lui aussi.
Le monde se modifie pendant la partie
La principale nouveauté tient aux consignes écrites que l'on tape sans relancer la simulation. On peut faire tomber la pluie, déplacer la caméra, ajouter un personnage ou un objet, et le monde continue d'évoluer entre deux instructions. Genie 3 ne le permettait pas.
Derrière, plusieurs modèles travaillent ensemble. Gemini Omni sert de référence pour l'apparence et le comportement des choses réelles. Gemini 3.8 Flash joue le rôle de metteur en scène : il découpe un objectif en étapes, regarde les images produites, vérifie que chaque étape a eu lieu et change de plan si l'utilisateur intervient. Genie 4, lui, dessine les images.
Le son, une première
DeepMind présente Genie 4 comme son premier modèle de monde en temps réel qui génère l'audio nativement. Musique, bruits ambiants, feuilles qui craquent ou foule qui applaudit sortent en même temps que l'image. Les personnages parlent et réagissent à ce que fait l'utilisateur.
Le laboratoire annonce aussi une physique plus crédible, avec l'aérodynamique et les collisions, et des personnages qui bougent plus naturellement. Selon TechCrunch, une scène reste cohérente jusqu'à deux minutes, le double de Genie 3. La fiche du modèle parle de « quelques minutes d'interaction continue » et précise que les sessions ne sont pas faites pour durer plus longtemps.
Testeurs, robots et journalistes
Les testeurs viennent du cinéma, du jeu vidéo, de l'éducation, de l'ingénierie et du journalisme. Ils s'en servent pour prévisualiser des plans, prototyper des jeux ou, côté presse, transformer une photo d'archive en lieu à explorer et simuler une inondation ou un incendie de forêt.
DeepMind montre aussi un usage en robotique. Gemini 4 Argon écrit un plan en plusieurs étapes pour le robot humanoïde Apollo d'Apptronik, qui joue aux dames, et Genie 4 simule chaque étape en direct. Le modèle doit aussi servir à entraîner des agents comme SIMA.
Les limites reconnues par DeepMind
Plus la session dure, plus les détails et les objets dérivent, surtout après plusieurs modifications ou pendant les déplacements. Le son n'est pas toujours juste, le texte affiché dans la scène n'est lisible que s'il figure dans la consigne de départ, et Genie 4 ne reproduit pas fidèlement un lieu réel. Faire interagir plusieurs utilisateurs ou agents dans le même monde reste un problème de recherche. Diego Rivas, ingénieur chez DeepMind, a parlé à TechCrunch d'un projet encore « à ses débuts » dont l'expérience finale n'est pas définie.
Toutes les images et tout le son générés portent le filigrane SynthID.
Disponibilité
Pour l'instant, Genie 4 est une préversion de recherche réservée à des testeurs de confiance. Il arrivera dans les prochaines semaines pour les abonnés Google AI Ultra, dans l'outil Project Genie, et pour des partenaires en accès anticipé de l'API Gemini et de Google AI Studio. Une liste d'attente est ouverte. Aucun tarif propre à Genie 4 n'a été annoncé.
TechCrunch rappelle que Runway a sorti il y a quelques mois GWM Worlds 2, un modèle jouable qui génère aussi le son, qu'AMD rachète World Labs, la société de Fei-Fei Li, et qu'Amazon serait en discussion pour racheter Decart. Tejas Kulkarni, directeur de recherche chez Google, voit la suite dans des « modèles de monde hybrides », où Gemini écrit du code et du texte pendant que Genie simule la réalité.
Sources
- Genie 4: A new generation of world simulation — Google DeepMind
- Genie 4 — Google DeepMind (fiche du modèle)
- Google's Genie 4 world model adds audio, more realistic worlds, and real-time steering — TechCrunch
- Google Genie 4 : créer un monde avec l'IA ne suffit plus, vous pouvez désormais le transformer en direct — Clubic