Les studios Jam & Tea sont la dernière startup de jeux vidéo à mettre en œuvre l'IA générative pour transformer la façon dont les joueurs interagissent avec les personnages non-jouables (PNJ) dans les jeux vidéo.
Traditionnellement, les PNJ de jeu vidéo sont dirigés par des scripts prédéterminés, ce qui peut sembler répétitif, irréaliste et ennuyeux. Cela peut également limiter le nombre d'expériences potentielles pour les joueurs. Cependant, lorsque l'IA générative est impliquée, les joueurs peuvent engager des conversations décontractées et interagir avec les PNJ comme ils le souhaitent (dans la mesure du raisonnable).
Fondée par des vétérans du jeu chez Riot Games, Wizards of the Coast et Magic: The Gathering, la société a annoncé vendredi son premier jeu qui exploitera les outils d'IA générative pour aider aux mécaniques de jeu, à la génération de contenu, au dialogue et à la génération d'objets.
Le premier jeu de Jam & Tea, Retail Mage, est un jeu de rôle qui permet aux joueurs d'incarner un sorcier travaillant comme vendeur dans un magasin de meubles magiques. L'objectif principal du jeu est de gagner des avis 5 étoiles en aidant les clients. Mais c'est vraiment aux joueurs de décider s'ils veulent vraiment travailler ou semer le chaos. Avec des PNJ AI en tant que clients et des joueurs humains capables de dire et de faire presque tout ce qu'ils veulent, les résultats possibles devraient varier largement.
Dans Retail Mage, les joueurs sont approchés par des clients ayant chacun leurs propres demandes. Au lieu de choisir parmi des phrases prédéfinies, les joueurs peuvent taper dans le générateur de texte comment ils aimeraient répondre. Le joueur peut demander à l'IA de "dire quelque chose de charmant," et elle offrira quatre options de dialogue différentes.
Jam & Tea fait partie de plusieurs entreprises en concurrence dans l'espace des PNJ alimentés par l'IA, aux côtés de Artificial Agency, Inworld et Nvidia. L'outil "Ghostwriter" alimenté par l'IA d'Ubisoft écrit le dialogue des PNJ pour certains de ses jeux.
Le nouveau jeu intervient également à un moment où les créatifs s'inquiètent des défis potentiels posés par la prévalence de l'IA générative. Le mois dernier, SAG-AFTRA—le syndicat des acteurs de doublage et d'autres talents—a lancé une grève contre les principaux éditeurs de jeux en raison de préoccupations liées à l'IA.
Cependant, Jam & Tea affirme adopter une approche équilibrée en ce qui concerne l'inclusion de l'IA et souhaite protéger les artistes, écrivains et autres créatifs travaillant dans la conception de jeux.
"Notre philosophie est que nous croyons que les créatifs vont devenir de plus en plus essentiels à mesure que nous progressons dans l'utilisation de cette technologie et dans l'offre de nouvelles expériences aux joueurs," a déclaré à TechCrunch le cofondateur et directeur de la création M. Yichao, ancien concepteur narratif de Guild Wars 2, League of Legends et autres titres.
"L'IA va générer tout ce dialogue, et vous pouvez parler aux personnages indéfiniment... mais il faudra l'œil et l'objectif créatifs pour vraiment donner du sens à cela et pour façonner cela en une expérience qui compte, en quelque chose avec de l'impact, de la profondeur et de l'émotion qui se propage à travers les histoires. Cela va devenir plus important que jamais," a ajouté Yichao.
Il a expliqué que les créatifs sont fortement impliqués tout au long du processus de développement, y compris en ce qui concerne la création de PNJ, leur motivation, leurs intérêts et leurs antécédents, ainsi qu'en fournissant des exemples de lignes pour aider l'IA à imiter le ton et à générer des lignes en temps réel.
Limitations des PNJ de l'IA
Malgré ses avantages, l'IA générative dans les PNJ présente ses limites. Une préoccupation majeure est l'irrégularité du comportement de l'IA, lorsque le comportement d'un PNJ devient excessivement erratique, entraînant une expérience frustrante pour le joueur. L'IA peut aussi inventer des réponses, donc il est possible que le PNJ puisse dire quelque chose qui est faux ou n'existe pas dans le monde.
Améliorer continuellement le moteur d'IA contribuera à atténuer l'imprévisibilité des PNJ, selon Yichao. Les joueurs peuvent également noter les réponses des personnages, ce qui fournit des données pour aider à améliorer le comportement des personnages. De plus, Jam & Tea affirme avoir mis en place des garde-fous pour éviter les conversations inappropriées.
Les joueurs sont toujours encouragés à faire preuve de créativité, permettant ainsi des interactions inventives et spontanées. Par exemple, au lieu d'aider un client, les joueurs peuvent choisir de s'engager dans des activités, comme jouer à cache-cache—un scénario réel qui s'est produit lors des tests.
"Notre ingénieur principal faisait des tests un soir et il est allé voir les PNJ et a simplement dit, 'Je m'ennuie.' Et le PNJ a répondu en disant, 'Eh bien, pourquoi ne joueraient-nous pas à un jeu ? Jouons à cache-cache.' Et donc les autres PNJ ont entendu et ont dit, 'Oh, nous jouons aussi,'" a partagé le cofondateur et directeur technique Aaron Farr. Les PNJ ont ensuite suivi les règles du jeu, avec un chercheur parcourant le magasin pour trouver tous les cacheurs.
"Rien de tout cela n'était programmé ; tout était un comportement émergent. Cela fait partie du plaisir lorsque nous avons ce que le joueur veut faire combiné avec son expérience pour modifier l'expérience en temps réel," a ajouté Farr, ancien leader technique chez Riot Games et Singularity 6.
La société a expérimenté divers grands modèles de langage (LLM) tout au long de la phase de test, notamment OpenAI, Gemma de Google, Mistral AI et Llama de Meta, et d'autres modèles ouverts. Il n'est pas encore certain du LLM qu'elle utilisera ultimement dans la version finale du jeu, mais elle peaufine le modèle pour l'entraîner à donner de meilleures réponses qui sont plus "en caractère."
Générer des objets à partir de rien
Le moteur d'IA de Jam & Tea va au-delà de la génération de dialogue. Les joueurs peuvent également interagir avec n'importe quel objet dans le jeu et indiquer leurs intentions avec cet objet, comme le ramasser ou le démanteler pour obtenir des pièces. Ils peuvent même créer des objets de toutes pièces. Selon ce qu'ils veulent faire, le jeu interprète cette intention et détermine si elle est réussie ou non.
Lors d'une démonstration donnée à TechCrunch, Yichao a interagi avec un PNJ nommé Noreen, qui a demandé une peluche en forme d'antilope. Il a ensuite tapé une commande dans une boîte d'action et a récupéré un oreiller ressemblant à une antilope dans une caisse. Le jeu a reconnu son action comme réussie et a ajouté l'élément à son inventaire.
Comme l'objet n'existait pas auparavant dans le jeu, les joueurs ne verront pas physiquement apparaître une peluche en forme d'antilope. Tout ce qui se passe dans le jeu est que l'objet apparaît dans l'inventaire du joueur en tant qu'image par défaut d'un oreiller. Si le joueur souhaite effectuer une action, comme s'asseoir sur une chaise, une notification apparaît à l'écran indiquant que l'action a été effectuée.
"L'une des choses vraiment passionnantes à propos de cette technologie est qu'elle permet une expression créative ouverte. Par exemple, je peux prendre un morceau de viande et dire, et si je le mets dans le bol et que je fais un délicieux ragoût de poisson ? Nous n'avons peut-être pas de ragoût de poisson [image], mais l'une des choses sur lesquelles je travaille avec nos artistes est de trouver une capacité créative pour représenter cet objet d'une manière satisfaisante dans le monde et de permettre à l'imagination du joueur de combler certaines de ces lacunes, et de donner aux joueurs une liberté créative maximale pour faire des choses inattendues," a déclaré Yichao.
La technologie IA ne sera pas utilisée pour la génération d'actifs 2D ou 3D. De vrais artistes créeront les images.
Retail Mage est un jeu relativement basique par rapport aux autres. Au lancement, la société promet de fournir un produit plus avancé que la version de test que nous avons vue lors de la démo.
Jam & Tea déclare que le jeu est principalement destiné à démontrer l'application de la technologie alors qu'elle continue à expérimenter. Outre Retail Mage, la société développe également un autre jeu—actuellement appelé 'Projet Emily' en interne—qui présentera ses ambitions plus larges, avec plus d'environnements et une intrigue sophistiquée.
L'équipe débrouillarde de huit personnes de la startup a beaucoup de travail devant elle pour atteindre le niveau des plus grandes entreprises de jeux. Cependant, agir maintenant alors qu'il y a de l'élan permet à la société de s'adapter et de croître à mesure que les modèles d'IA progressent.
Jam & Tea a levé 3,15 millions de dollars lors de son tour de financement initial auprès de London Venture Partners avec la participation de Sisu Game Ventures et 1Up Ventures. Elle prévoit de lever un autre tour plus tard cette année.
Quant au modèle commercial, Jam & Tea facturera 15 $ pour acheter le jeu et proposera des packs de jeux supplémentaires que les joueurs pourront acheter séparément. Il sera lancé sur PC en premier lieu, mais la société vise à permettre une fonctionnalité multiplateforme d'ici les prochaines années.
La sortie de Retail Mage est prévue pour l'automne prochain.
