Dans les coulisses de Romergo
Des retouches sans fin à un plateau de tournage : comment j’apprends à générer des histoires
Dans l’article précédent, j’expliquais pourquoi une visual novel qui fonctionne demande tout un processus entre le texte source et le jeu : préserver les faits, préparer les personnages, assembler la scène et regarder ce que voit réellement le joueur.
Depuis, ce processus s’est compliqué. Pas parce que je voulais inventer quelques noms supplémentaires pour l’IA. En créant des histoires, je butais sans cesse sur un problème désagréable : on perd facilement une bonne image en essayant de l’améliorer un peu.
On demande d’abord de corriger une main. Puis de remettre un vêtement. Ensuite d’enlever une jambe en trop — oui, cela arrive. Et l’on finit par remarquer qu’au fil des retouches, le visage a changé, les ombres ont foncé et le fond propre est devenu brouillon.
On corrige un endroit pendant que l’image entière continue de changer. Il faut parfois l’admettre : cinq versions plus tôt, c’était mieux.
Corriger une image ne veut pas dire la préserver
L’accumulation des changements est une vraie frustration pour moi. À partir d’une image A, on crée B, puis C à partir de B, et l’on recommence. Chaque version hérite de la correction voulue, mais aussi de tout ce qui avait changé discrètement auparavant.
Dans mes générations, les visages « fondaient », les ombres s’alourdissaient, des artefacts apparaissaient sur les surfaces et de petits détails disparaissaient. Chaque nouveau plan n’est pas forcément moins bon. Mais une longue chaîne de retouches laissait trop d’occasions de s’éloigner de l’apparence initiale.
Pour une personne, « garde tout, tourne seulement la tête » paraît évident. Nous reconnaissons le personnage, comprenons la pièce et supposons que sa veste reste sur lui, même si personne n’en parle plus. Avec le générateur, il faut préciser ces accords. Il peut produire une image convaincante tout en rompant ce qui allait de soi pour nous.
Oui, une grande partie du travail consiste donc à apprendre à négocier avec l’IA. Parfois, littéralement, à lui expliquer que nous n’avons toujours pas besoin d’une troisième jambe.
GENERAL : un point auquel revenir
Ma première réponse a été GENERAL : une image de référence approuvée d’un personnage, d’un lieu ou d’un objet. Aussi neutre que possible, avec des traits permanents bien lisibles et peu de détails propres à un épisode.
J’essaie ensuite d’éviter la chaîne sans fin « dernière retouche → retouche suivante ». Le nouvel état est créé à partir de GENERAL, selon ce qui doit se passer maintenant.
Pour corriger une scène, la consigne peut s’appuyer sur trois éléments :
- GENERAL montre l’apparence du personnage ou du lieu ;
- l’image précédente aide à préserver la pose, la composition ou l’état souhaités ;
- la liste complète des exigences décrit le résultat attendu, nouvelle correction comprise.
La version précédente reste une référence secondaire. Elle ne doit pas devenir silencieusement le nouvel étalon avec toutes ses erreurs accumulées.
*Ce schéma explique la méthode ; il ne compare pas des générations réelles. GENERAL fournit un point de référence stable, sans garantir la conservation de chaque pixel.*
Il n’existe pas de formule magique pour empêcher le générateur de se tromper. Mais on sait désormais à quoi revenir lorsque tout commence à dériver. L’objectif change aussi : obtenir la scène voulue avec le même personnage, plutôt que simplement retoucher la dernière version ratée.
Render Eye : ce qui existe dans le monde et ce qui apparaît dans le cadre
Le problème suivant était plus subtil. Imaginons un personnage bien décrit : veste, gants, ceinture, bottes. Mais il est cadré à la taille, une main derrière le dos, une partie du corps cachée par une porte.
Quels détails faut-il dessiner ? Lesquels doivent rester cachés ? Comment distinguer un gant dissimulé d’un gant que le générateur a simplement oublié ?
C’est pour cela que je développe Render Eye. Il a deux tâches : préparer les exigences avant la génération, puis examiner l’image obtenue.
Il consulte d’abord la bible de l’histoire : les descriptions enregistrées des personnages, des lieux, des objets et de leurs états. Puis il les rapproche de la mise en scène : position de la caméra, action et point sur lequel doit porter l’attention du joueur.
Chaque détail important reçoit une décision : entièrement visible, partiellement visible, masqué par un objet ou hors champ. Si la main est derrière le dos, le gant ne disparaît pas du monde. On ne peut simplement pas l’examiner sous cet angle.
On obtient ainsi une consigne précise. Pas seulement « dessine le héros dans un couloir », mais « ce héros, dans ces vêtements, depuis ce point de vue, avec ces détails visibles ». Un objet nécessaire à la compréhension de la scène ne doit pas se retrouver accidentellement hors de l’image.
Après la génération, Render Eye revient à cette même consigne. Il vérifie les vêtements, les objets et la disposition des personnages, puis séparément l’anatomie et les artefacts. Une erreur détectée ou une incertitude renvoie l’image en correction. On ne peut pas accepter une veste disparue, puis réécrire le personnage comme si elle n’avait jamais existé.
Il ne faut pas pour autant prêter des superpouvoirs au système. C’est une IA qui examine l’image, et elle peut aussi manquer un détail. Une vérification obligatoire discipline le processus ; elle ne rend pas le modèle visuel infaillible.
Le réalisateur : pourquoi voulons-nous ce plan précis ?
On peut dessiner correctement les vêtements, préserver le visage, bien placer tous les personnages — et obtenir malgré tout une scène fade.
Une histoire ne se résume pas à ce qui s’y trouve. Le moment où le joueur le remarque compte, tout comme l’ordre des répliques, le temps laissé à une réaction et ce qui se fait entendre.
D’où un rôle distinct de réalisateur. Il travaille au plus près de la scène : ordre des répliques et des réactions, présence des personnages, lumière, couleur, musique, sons, pauses et composition de l’interface. Le texte source reste un matériau de travail pendant tout le processus, pas une fiche lue une fois au début.
Prenons une phrase imaginaire : « Des pas se firent entendre derrière la porte. »
On peut montrer une porte et afficher le texte. Ou retirer auparavant la musique, garder une faible ambiance de pièce, faire entendre les pas hors champ, s’attarder sur la réaction du personnage, puis reprendre la conversation. Si le texte cache encore l’identité de la personne arrivée, la caméra ne doit pas nous la montrer obligeamment.
Ce même couloir peut attirer l’attention vers un indice dans un récit policier ou vers l’attente d’une rencontre dans une scène romantique. La différence vient de décisions concrètes. Écrire « ambiance : horreur » dans une consigne n’y suffit pas.
Le réalisateur enregistre ces décisions dans un plan de mise en scène. Les faits de l’œuvre restent séparés de l’interprétation : une lumière froide peut être un choix artistique ; introduire un nouveau poursuivant modifie les événements.
Le jeu ajoute une particularité : chacun lit à son rythme. Une pause avant une réplique et l’attente de la fin de sa lecture sont deux choses différentes. Impossible de prévoir un beau moment de quatre secondes puis de fermer le texte à quelqu’un qui en avait besoin de six.
Je ne veux pas non plus remplacer une scène fade par une collection mécanique d’effets. Parfois, le bon choix est un plan fixe, une coupe simple et aucune musique. Chaque procédé doit servir une intention.
Le directeur qualité : avons-nous obtenu ce que nous voulions ?
Les noms « réalisateur » et « directeur qualité » désignent ici des responsabilités distinctes. Le réalisateur met la scène en place. Le directeur qualité examine le résultat.
Il compare le texte et le plan à ce qui se retrouve effectivement dans le jeu : la séquence terminée, pas uniquement de belles images isolées.
L’interface cache-t-elle un objet important ? Le personnage qui écoute disparaît-il au changement de réplique ? Entend-on la musique de la pièce précédente ? La composition s’effondre-t-elle sur téléphone ? La scène transmet-elle le ton recherché à travers la lumière, les pauses et le son ?
Une vérification utile doit également savoir où renvoyer le problème. Si le défaut est dans l’image, il faut corriger la génération. Si un bon personnage est mal placé à l’écran, c’est l’assemblage qu’il faut ajuster. Un son qui commence trop tôt ne nécessite pas de redessiner le fond.
*Dans le schéma, Director désigne le réalisateur et QA le directeur qualité. Le schéma est simplifié : le texte reste une référence pendant l’assemblage et la vérification finale. La flèche de retour signifie corriger l’étape concernée, pas forcément tout recommencer.*
Une personne ne devrait pas non plus monter la garde devant le générateur
Même lorsque les images arrivent plus vite, un autre coût demeure : les changements constants d’attention. Ouvrir le chat, regarder un plan, laisser une remarque, revenir à son travail. Quelques minutes plus tard, recommencer.
C’est pourquoi je travaille aussi sur les GENERAL par lots. Les références indépendantes peuvent être préparées à l’avance et présentées ensemble. La personne les compare, repère les incohérences et laisse des remarques communes ou individuelles.
On reprend ensuite les images nécessaires. Les images approuvées ne doivent pas se perdre à cause d’un essai raté. Les dépendances restent importantes : si l’image suivante repose sur une référence non validée, il faut d’abord régler cette référence.
Ce n’est pas une promesse de multiplier la vitesse du générateur. Ce qui m’importe davantage, c’est de réduire le nombre de fois où quelqu’un doit interrompre son activité pour une nouvelle vérification.
Une petite équipe de tournage plutôt qu’une énorme instruction
Au fond, j’essaie vraiment de constituer une petite équipe de tournage sous forme d’IA. Elle dispose d’un monde décrit, de références, d’une mise en scène, d’une production d’images, d’un assemblage et d’un contrôle qualité.
Il s’agit de responsabilités dans le travail d’un agent. Cela ne signifie pas que chaque rôle possède déjà une IA distincte fonctionnant en permanence. L’essentiel est de sauvegarder les décisions, de ne pas modifier les exigences après coup et de savoir quoi revérifier après chaque retouche.
Les nouvelles étapes disposent désormais d’outils et de plans persistants. Il reste à les éprouver sur de vrais chapitres longs : dans quelle mesure aident-elles à préserver les personnages, l’ambiance et l’attention de l’auteur tout au long du récit ?
Mon objectif final : apporter un gros livre, choisir un chapitre et le transformer progressivement en quête jouable. Pouvoir m’arrêter, regarder le résultat, corriger l’essentiel et reprendre là où le travail s’était interrompu.
Générer des histoires s’est révélé bien plus difficile qu’« écrire un bon prompt ». Mais cette difficulté se compose désormais de tâches précises. Parfois il faut une référence stable, parfois une lecture attentive, parfois du silence avant une réplique. Et parfois il faut encore une personne qui regarde la scène et dise : « Non, là, je ne te crois pas. »