Midjourney, ChatGPT und Co. haben in den vergangenen Monaten für viel Aufsehen gesorgt – sowohl im positiven als auch negativen Sinne. Gleichzeitig hat Generative AI auch das Interesse der Videospielbranche auf sich gezogen. Im zweiten Teil der 2-teiligen Artikelserie zum Thema KI in der Games-Entwicklung geht Jake Hawley, Chief Gaming Officer bei Endava, näher auf konkrete Use Cases ein und verrät, in welchen Phasen der Videospielentwicklung Teams maßgeblich von Generative-AI-Anwendungen profitieren können.
Schnellere und kostengünstigere Prozesse, geringeres Fehlerrisiko, Entlastung und Ideen-Boost: Unternehmen nutzen Generative AI, um selbst bei fehlenden Fachkräften, Budgets und technischen Mitteln qualitativ hochwertige Arbeit abzuliefern. Von diesem Potenzial ist die Videospielbranche nicht ausgeschlossen.
Die folgenden konkreten Anwendungsbeispiele sollen veranschaulichen, in welcher Form Generative AI bereits bei der Videospielentwicklung zum Einsatz kommen und Abläufe dadurch optimieren und beschleunigen kann.
Use Case I: Game und Level Design
Für jedes Projekt braucht es Inspiration und erste Ideen. Im Kontext moderner Videospielentwicklung müssen diese Ideen häufig schnell zu Papier gebracht und weiterentwickelt werden. An dieser Stelle erweist sich Generative AI bereits jetzt als praktisches Tool. Studios nutzen sie beispielsweise als unterstützenden Mechanismus, um erste Plot-Ideen oder Concept Art zu erstellen, sich von ihnen inspirieren zu lassen und die erzeugten Assets weiterzuentwickeln, die dann von menschlichen Artists wieder aufgegriffen werden. In Zukunft könnten Teams mithilfe von Generative AI bereits in frühen Produktionsphasen erste (Level-)Prototypen mit besseren Assets entwickeln, in denen sie zum Beispiel das Level-Layout oder aktuell noch sehr simple Spielmechaniken testen können. Das sorgt für wesentliche Zeiteinsparungen und fördert die Kreativität und Produktivität des Teams.
Prozedurales Level Design ist mittlerweile ein beliebtes Mittel, um frischen Wind in die Spielerfahrung zu bringen. So überraschen beispielsweise Roguelikes wie Hades oder Open-World-Spiele wie No Man’s Sky oder Minecraft den Spieler mit neuen, zufällig generierten Umgebungen, die sich jedes Mal unterscheiden. Die Level folgen trotzdem den vom Designer vorgegebenen Regeln. Eine Generative AI könnte stattdessen selbstständig auf Basis der Input-Assets und Prompt-Eingaben neuartige Level erstellen. Allerdings braucht es immer den Blick eines Experten, der die Ergebnisse hinsichtlich ihrer Logik und Qualität auf den Prüfstand stellt und den Output von KI-Tools insgesamt anleitet und verfeinert. Ein interessantes Beispiel für KI-basiertes Level Design ist MarioGPT, das endlose Super-Mario-Level auf Basis von Texteingaben generiert.
Use Case II: Art Design, Animation und Motion Capturing
Ein Bücherregal, eine Hauswand, eine Waffe oder ein Paar Schuhe: Im Spiel interagieren wir mit Objekten oder nehmen sie indirekt wahr, wenn sie die Umgebung atmosphärisch bereichern. So gut wie kein Spiel kommt ohne sie aus. Jedoch ist die künstlerische Ausgestaltung von 2D- und die Modellierung von 3D-Assets eine Tätigkeit, die oft mehrere Wochen dauert.
Midjourney und Co. haben bereits ihre Text-to-Image-Fähigkeiten unter Beweis gestellt. Und hier liegt auch Potenzial für die Videospielentwicklung: Mittels Text-Prompts könnten Artists Designs für Artworks und In-Game-Assets generieren und sie dann an die konkreten Vorgaben ihres Projektes anpassen. Squanch Games dekorierte beispielsweise mithilfe von Midjourney einzelne Set-Elemente in High on Life. Ein weiterer Vorteil der Generative AI: Aus einem Objekt kann sie in wenigen Minuten unzählige 2D-Variationen herstellen.
Auch wenn Generative AI 2D-Assets inzwischen mehr oder weniger reibungslos generieren kann, bestehen bei den 3D-Pendants weiterhin einige Hürden. Das liegt vor allem an der komplexen Zusammensetzung von 3D-Objekten: Zunächst müssen sie vollständig modelliert werden, dann werden 3D-Texturen und andere Effekte auf dieses Modell geschichtet. Handelt es sich um ein animiertes Objekt wie einen NPC, braucht es zudem einen Bewegungsapparat. Generative AI hat hier bei der Umsetzung immer noch Schwierigkeiten. Zwar hat Microsoft für seinen Flight Simulator Satellitenbilder der Erde mithilfe einer KI in eine begeh- bzw. „befliegbare“ 3D-Umgebung verwandelt, aber die Arbeit in diesem Bereich ist immer noch sehr experimentell. Umso wichtiger ist es, dass spezialisierte Unternehmen Research-und-Development-Projekte durchführen, die die KI-gestützte Generierung von 3D-Assets im großen Maßstab anwendbar machen.
Motion-Capture-Technologie ist in der Videospielbranche mittlerweile gang und gäbe. Die meisten Studios engagieren Schauspieler, die in einem eigens dafür eingerichteten Aufnahmeraum und mit speziellen Anzügen einzelne Bewegungen ausführen oder sogar ganze Szenen nachspielen, um möglichst realistische Animationen zu kreieren. Das verschlingt jedoch sehr viel Zeit, Geld und Know-how – Ressourcen, über die besonders kleine Entwickler-Teams nicht ausreichend verfügen. Neue Generative-AI-Modelle sind in der Lage, Bewegungen, Gestik und Mimik aus bereits existierenden Videos „abzulesen“ und umzuwandeln.
Use Case III: Sound Design, Dialoge, Voice Acting und Lokalisierung
Von KI „komponierte“ Musik hat es mittlerweile auf bekannte Streaming-Plattformen geschafft. Da ist es nur eine Frage der Zeit, bis sie auch die Gaming-Branche erreicht. Soundtracks, Ambient Music und Sound-Effekte werden bislang als separate Assets produziert und in die Spiele eingefügt. Mithilfe einer Generative AI ließen sich diese Assets während des Spielverlaufs spontan generieren. Je nach Szenen- und Level-Inhalt oder Emotion gibt das System musikalische Variationen aus. Auf diese Weise könnten Studios nicht nur den zusätzlichen Arbeitsaufwand oder den Kauf teurer Lizenzen, sondern auch falsch einsetzende Musik oder repetitiv klingende Töne vermeiden. Das wertet schließlich auch das allgemeine Spielerlebnis auf.
Gleiches gilt für die Erstellung von Texten, Voice Acting und Lokalisierung. Eine Generative AI könnte in naher Zukunft (reaktive) Dialoge schreiben, Charakteren eine Stimme verleihen und sie in andere Sprachen übersetzen. Dafür reichen bereits wenige Voice Samples einer einzigen Stimme und Sprache. Eine Generative-AI-Anwendung kann auf Basis dieses Inputs neue Dialoge mit der gleichen Stimme in allen möglichen Sprachen generieren. Viele Start-ups und auch Entwicklerstudios experimentieren derzeit mit der KI-basierten Text- und Sprachgenerierung, die dank GPT-Technologie bereits sehr weit fortgeschritten ist. So arbeitet Ubisoft zum Beispiel an einer Anwendung, die sogenannte „Barks“ generiert: Sprechzeilen, die NPCs ausrufen, welche sich in der Spielwelt bewegen und mit denen der Spieler in der Regel nicht interagiert. Solche Texte wurden bislang von den Autoren unter hohem Zeitaufwand selbst erdacht und zusammengestellt.
Ein Forscher-Team der Stanford University hat mit Smallville ein kleines KI-Sandbox-Städtchen aufgebaut, in dem 25 Bewohner miteinander interagieren. ChatGPT generiert hier die real wirkenden Dialoge aus dem Stehgreif. Das Besondere: Zwar verfolgen die Charaktere ihren vorgegebenen Tagesablauf, können jedoch auch situationsbedingt handeln und spontan reagieren. Eine durch Generative AI erzeugte Narration und Entscheidungsfindung wäre der nächste interessante Schritt, um eine Videospielwelt noch immersiver zu machen und NPCs reaktiver und eigenmächtig handeln zu lassen. Niantic hat wiederum eine Mixed-Reality-Umgebung für Quest-VR-Headsets geschaffen, in der man sich mit der Eule Wol über den Redwood Forest unterhalten kann. Eine Generative-AI-Plattform sorgt hier für menschenähnliche Bewegungen, reaktive Dialoge und Sprachausgabe.
Use Cases jenseits der Produktions-Pipeline: Dynamic Balancing, Testing und Marketing
Wie praktisch wäre es, wenn ein Videospiel verschiedene Spielweisen erkennen und die Schwierigkeit entsprechend dynamisch und individuell anpassen könnte? Dafür müsste ein System laufend Spieldaten sammeln und sie als Basis für das Balancing nutzen. Anstelle von drei oder fünf starren Schwierigkeitsstufen könnte das Spiel die Gegner selbstständig „nur ein bisschen“ herausfordernder oder einfacher machen. Im Online-Gaming-Kontext hingegen könnte das System zum Beispiel Waffen identifizieren, die „overpowered“ sind und Spielern dadurch einen unfairen Vorteil verschaffen. Daraufhin könnte es passendere Werte berechnen und sie über einen Hotfix im Hintergrund ersetzen.
Qualitätsmanagement ist ein wesentlicher Bestandteil der Videospielentwicklung. Spielmechaniken, Animationen, Texturen, Dialoge, Sound – alles muss eingehend getestet werden, um zu verhindern, dass Bugs, Glitches und Exploits ihren Weg in das Endprodukt finden. Dahingehend leisten QA-Manager und Tester bereits wichtige Arbeit. Doch auch ihren Augen entgehen Mängel. Denn Bugs werden nicht bei jedem gleich getriggert, wodurch das Risiko steigt, dass sie übersehen werden. Eine KI ist in der Lage, den Code und sämtliche Assets zusätzlich und in kurzer Zeit zu überprüfen und eventuelle Schwachstellen und Fehler ausfindig zu machen.
Studios und Publisher können die Fähigkeiten von Generative AI auch in Geschäftsbereichen einsetzen, die weit über die eigentliche Entwicklung der Spiele hinausgehen. Allen voran das Marketing: Auf Grundlage der bereits erstellten Assets könnte eine entsprechende Anwendung visuelle oder textbasierte Inhalte in Form von Displays am Point of Sale (POS), Print- und TV-Werbung, Social-Media-Beiträgen oder Video-Ads für Streaming-Plattformen generieren und automatisiert ausspielen.
Ausblick: Die Hürden bei der Arbeit mit Generative AI
Wenn man sich mit Generative AI beschäftigt, stößt man schnell auf die Herausforderungen, die auf juristischer bzw. urheberrechtlicher Seite entstehen. Midjourney greift zum Beispiel auf Bilder zurück, die es im Internet findet, ohne dass die Quellen bekannt oder benannt werden – eine rechtliche Grauzone. Ein Weg, dieses Problem zu umgehen, ist der Einsatz proprietärer Generative-AI-Anwendungen, die mit Daten aus dem eigenen Haus trainiert werden. In Zukunft werden wir noch viele Initiativen dieser Art sehen, die sich mit der Regulierung von Generative AI in der Medien- und Unterhaltungsbranche beschäftigen.
Nichtsdestotrotz ist das Potenzial beachtlich, das Generative AI für die Videospiel-Branche birgt. Dabei ist es wichtig, sich bewusst zu machen, dass es hier um Tools geht, die talentierte Entwickler und Designer unterstützen soll, keineswegs ersetzen.
Die Ergebnisse entsprechender Anwendungen sind noch nicht in allen Feldern ausgereift, sondern befinden sich noch in experimentellen Phasen. So könnte die Vorhersagbarkeit zum Beispiel oft besser sein. Nicht immer ist sichergestellt, dass am Ende genau das rauskommt, was erwartet wird. Oftmals erhält man unterschiedliche Ergebnisse, wenn man ein und denselben Prompt zweimal nacheinander eingibt. Inzwischen wird mit Tools experimentiert, die diese Hürde überwinden sollen. Damit der Output auch weiterhin qualitativ hochwertig bleibt, wird es auch in Zukunft das Know-how menschlicher Mitarbeiter brauchen. Sie müssen dafür sorgen, dass vom System kontrollierte Charaktere über ihre Dialoge und Aktionen nicht aus ihrem eigentlichen Konzept „ausbrechen“ und das Spielgeschehen dominieren. Das Level Design muss ebenfalls auf seine Plausibilität hin überprüft und optimiert werden. Art Designs dürfen nicht von den künstlerischen Vorgaben abweichen. Auch hier braucht es Experten, die sich um die Qualitätssicherung kümmern. Gleichzeitig sind neue Kompetenzen wie das Prompt Engineering gefragt.
Fest steht jedoch: Generative AI wird in der Games-Branche künftig noch präsenter sein. Mit ihrer Hilfe werden Teams innovative, kreative und immersivere Spielwelten erschaffen, die Gamer auf der ganzen Welt begeistern.
Weiterführende Links
AI Has Entered the Game – Teil 1: Die Games-Entwicklung wird zunehmend zum teuren und aufwendigen Spaß
KI-basierte Automatisierung: Das Potenzial realisieren
KI generierte 3D-Modelle mit Meshy
Die Meister des Spieluniversums: 10 legendäre Game Designer
Cheating in Spielen – und was man dagegen tun kann
