Autor Thema: AI RPGs  (Gelesen 838 mal)

Eismann (+ 1 Versteckte) und 2 Gäste betrachten dieses Thema.

Offline Gunthar

  • Mythos
  • ********
  • Beiträge: 10.711
  • Username: Gunthar
AI RPGs
« am: Gestern um 13:11 »
Dieser Thread ist für AI RPGs.

Hier bei AIRealm kann man mit einem AI DM D&D oder Varianten davon spielen. Das ganze ist immer noch Work in Progress.

Bin bei einer Stichprobe überrascht, wie gut das System auf die Eingaben reagiert. Nur Schummeln als Spieler geht beim Würfeln auch.
Spieler in D&D 5e: "8 + viel, trifft das?"

(Klicke zum Anzeigen/Verstecken)
I propose that we rename the game "The One Ring" to become "The Eleven Ring" ;)
Three Rings for the Elven-kings under the sky,
Seven for the Dwarf-lords in their halls of stone,
Nine for Mortal Men doomed to die,
Eleven Rings to roleplay the one...

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.666
  • Geschlecht: Männlich
  • Username: sma
Re: AI RPGs
« Antwort #1 am: Gestern um 14:29 »
Wieso bist du überrascht? Konversation haben LLMs (um diese Art von KI handelt es sich hier ja) doch inzwischen gemeistert. Und seit gestern Meta mit Llama 4 Scout auch ein LLM mit 10M Token Kontextfenster angekündigt hat, sollte auch die "Vergesslichkeit" der Vergangenheit angehören. Bleibt natürlich die Frage, wie schnell so eine KI antwortet und wenn jede Antwort eine Minute braucht, hat man eher das Gefühl, mit jemandem auf dem Weg zum Mars zu sprechen.

Ich frage mich ja, wie sich so Dienste wie ReamAI finanzieren? Durch die Eingaben der Anwender? Werbung? Affiliate Marketing?
(Klicke zum Anzeigen/Verstecken)

Theoretisch könnte man sich für einen "normalen" KI-Chat einen entsprechenden Prompt basteln und dann einfach loslegen. Wäre für einen selbst billiger, weil diese Dienste pauschal abrechnen und ggf. einfach heimlich die Leistungen kürzen. Nachteil ist aber, dass LLMs keinen Zufall können und damit nicht sonderlich kreativ sind. Ich ist daher besser, echten Zufall, etwa Würfe auf entsprechende Tabellen in das LLM eingefüttert werden. Eine spezielle App kann dies natürlich problemlos leisten.

Aber auch hier ist Abhilfe in Sicht: MCP. Dieser von Anthropic vorgeschlagene Standard, wie LLMs um sog. Tools erweitert werden können, setzt sich gerade massiv durch und auch wenn das eher so für Zugriffe auf andere Programme oder das Dateisystem gedacht war, kann man damit natürlich auch würfeln, auf Zufallstabellen werfen, in Datenbanken nach Monstern suchen usw.
(Klicke zum Anzeigen/Verstecken)

Ich wäre jetzt daran interessiert, wie ein einfaches, aber nicht zu einfaches Rollenspielsystem aussehen könnte, das man mit möglichst wenig Worten vollständig beschreiben kann und was dann als Grundlage für eine KI-DM dienen kann. Und die beschreibt man am besten die gewünschte Konversation?

Ich glaube ja, dass hier die Rituale von PbtA gut funktionieren würden.

Offline Haukrinn

  • BÖRK-Ziege
  • Mythos
  • ********
  • Jetzt auch mit Bart!
  • Beiträge: 11.854
  • Geschlecht: Männlich
  • Username: haukrinn
Re: AI RPGs
« Antwort #2 am: Gestern um 15:26 »
@sma, da liegen glaube ich einige Fehlannahmen vor:

1. Llama4 hat mit dem enormen Kontextfenster auch enorme "Wackeligkeit" in den Rückgaben. Sprich, mit großem Kontextfenster wird das schnell echt schlecht. 128k sind heutzutage noch gut machbar bei Modellen mit 50 bis 70 Milliarden Parameter (kleinere verhaspeln sich da schon mal genrne), 256k bei großen Modellen auch. Was darüber hinaus geht, das ist noch ungelöst. Denn du brauchst Trainigsdaten, die so lang sind wie das Kontextfenster und da wird es schnell dünn.
2. Das Regelwerk muss mitnichten ins Kontextfenster passen, das würde man als externes Dokument betrachten und je nach Fragestellung passend (z.B. mit RAG) durchsuchen. Damit bekommst du Kerninformation auf 2k-3k runter. Oder die Sachen sind sogar schon im Trainigskorpus des LLM drin gewesen. So funktioniert das ja heute auch schon, Claude zum Beispiel ist in vielem, was eh als SRD oder unter einer offenen Lizenz vorliegt, recht firm. DCC und OSE sowie D20 kann es eigentlich ziemlich gut, auch wenn es manchmal Dinge durcheinander wirft.
3. LLMs können total gut Zufall, das sind schließlich statistische Modelle. "Nenne mir eine Zahl zwischen 1 und 20" ist ein valider Zufallsgenerierungsprompt. Vielleicht totale Energieverschwendung, aber valide.

PS: ZUm Thema, ich hätte ja lieber AI-basierte Spieler als einen AI-basierten SL. Aber da kann ich wohl lange drauf warten...
What were you doing at a volcano? - Action geology!

Most people work long, hard hours at jobs they hate that enable them to buy things they don't need to impress people they don't like.

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.666
  • Geschlecht: Männlich
  • Username: sma
Re: AI RPGs
« Antwort #3 am: Gestern um 16:17 »
@sma, da liegen glaube ich einige Fehlannahmen vor:

1. Llama4 hat mit dem enormen Kontextfenster auch enorme "Wackeligkeit" in den Rückgaben. Sprich, mit großem Kontextfenster wird das schnell echt schlecht.
Du sagst also, den Aussagen der Hersteller kann man nicht trauen? Llama 4 habe ich selbst noch nicht ausprobiert, aber Gemini mit 1M, was ich mühsam auf 600k gefüllt habe und sich die KI immer noch wie erwartet "erinnern" konnte.

Zitat
2. Das Regelwerk muss mitnichten ins Kontextfenster passen, das würde man als externes Dokument betrachten und je nach Fragestellung passend (z.B. mit RAG) durchsuchen.
Und das funktioniert für dich? Zumindest mit dem RAG von LM Studio habe ich nur schlechte Erfahrung gemacht. der PDF-Rohtext wird dort ja einfach ohne Inhaltsbezug in gleichgroße Abschnitte zerhackt. So schwor dann das LLM Stein und Bein, dass das Rollenspiel 4 Attribute hatte, obwohl es 5 waren, aber eben genau hier ein Schnitt war, dass der Textabschnitt mit dem 1. oder 5. Attribut eben nie als Relevant erkannt wurde.

Für den Regelkern würde ich daher immer CAG (also kompletter Text in den Kontext) statt RAG (nur die automatische Zusammenfassung der Textabschnitte) wählen.

Zitat
DCC und OSE sowie D20 kann es eigentlich ziemlich gut, auch wenn es manchmal Dinge durcheinander wirft.
Sagst du, wo ich doch gerade in dem Text schreibe, dass Claude leider nicht wusste, wie die Attribute bei DCC heißen und einfach D&D Attribute benutzt hat.

Zitat
3. LLMs können total gut Zufall, das sind schließlich statistische Modelle. "Nenne mir eine Zahl zwischen 1 und 20" ist ein valider Zufallsgenerierungsprompt. Vielleicht totale Energieverschwendung, aber valide.
Bin ich sehr skeptisch, denn das deckt sich nicht mit meinen Erfahrungen. Ich habe eben mal den Prompt "Erzeuge eine Zufallszahl zwischen 1 und 6. Antworte bitte nur mit der Zahl, nichts anderes." an "mistral-large-latest" geschickt und bis zum Erreichen der Quota die Antworten 4 3 3 3 3 3 3 3 4 3 3 3 4 4 3 bekommen, was ich nicht für Zufall halte. Lokal kann ich leider nur "mistral-small:24b" laufen lassen, das konsequent mit 4 antwortet.

Zitat
PS: ZUm Thema, ich hätte ja lieber AI-basierte Spieler als einen AI-basierten SL. Aber da kann ich wohl lange drauf warten...
Das müsste doch eigentlich sogar einfacher sein, weil Spieler zumindest theoretisch keine Regelkenntnisse oder Settingkenntnisse brauchen, sondern wenn sie die Charakterwerte interpretieren können, den Rest mit Weltwissen und Einfühlungsvermögen schaffen.

Offline Haukrinn

  • BÖRK-Ziege
  • Mythos
  • ********
  • Jetzt auch mit Bart!
  • Beiträge: 11.854
  • Geschlecht: Männlich
  • Username: haukrinn
Re: AI RPGs
« Antwort #4 am: Gestern um 16:36 »
Du sagst also, den Aussagen der Hersteller kann man nicht trauen? Llama 4 habe ich selbst noch nicht ausprobiert, aber Gemini mit 1M, was ich mühsam auf 600k gefüllt habe und sich die KI immer noch wie erwartet "erinnern" konnte.

Wie genau hast du das gemacht? Einfach als Kontext mitgeben führt in der Regel dazu, dass die Attention-Mechanismen in die Irre geführt werden (verhindern lässt sich das normalerweise nur wenn die Parameterzahl drastisch nach oben geschraubt wird). Das LLM weiß dann nicht mehr, was wichtig ist und gibt dir Antworten die irgendeinen Bezug zum Kontext haben aber nicht den, den du meintest.

Und das funktioniert für dich? Zumindest mit dem RAG von LM Studio habe ich nur schlechte Erfahrung gemacht. der PDF-Rohtext wird dort ja einfach ohne Inhaltsbezug in gleichgroße Abschnitte zerhackt. So schwor dann das LLM Stein und Bein, dass das Rollenspiel 4 Attribute hatte, obwohl es 5 waren, aber eben genau hier ein Schnitt war, dass der Textabschnitt mit dem 1. oder 5. Attribut eben nie als Relevant erkannt wurde.

Für den Regelkern würde ich daher immer CAG (also kompletter Text in den Kontext) statt RAG (nur die automatische Zusammenfassung der Textabschnitte) wählen.

Das ist in der Tat oft problematisch. Ich hab da ganz gute Erfahrungen mit gemacht solche Texte kapitelweise reinzugeben, damit die Textchunks möglichst zusammenhängend bleiben. Noch besser geht das natürlich mit Webseiten, wo die relevante Information auf separaten Unterseiten steht.

Sagst du, wo ich doch gerade in dem Text schreibe, dass Claude leider nicht wusste, wie die Attribute bei DCC heißen und einfach D&D Attribute benutzt hat.

Verrückt. Bei mir gibt er das auch in mehreren neuen Chats immer richtig zurück.

Bin ich sehr skeptisch, denn das deckt sich nicht mit meinen Erfahrungen. Ich habe eben mal den Prompt "Erzeuge eine Zufallszahl zwischen 1 und 6. Antworte bitte nur mit der Zahl, nichts anderes." an "mistral-large-latest" geschickt und bis zum Erreichen der Quota die Antworten 4 3 3 3 3 3 3 3 4 3 3 3 4 4 3 bekommen, was ich nicht für Zufall halte. Lokal kann ich leider nur "mistral-small:24b" laufen lassen, das konsequent mit 4 antwortet.

Also ich hab's mit Mistral-nemo-12b versucht und da waren die Ergebnisse wirklich sehr zufällig verteilt. so wie es sein soll.
What were you doing at a volcano? - Action geology!

Most people work long, hard hours at jobs they hate that enable them to buy things they don't need to impress people they don't like.

Online Runenstahl

  • Famous Hero
  • ******
  • Beiträge: 2.160
  • Geschlecht: Männlich
  • Username: Runenstahl
Re: AI RPGs
« Antwort #5 am: Gestern um 18:15 »
Die AI ist schon ganz gut. Es fehlt derzeit noch einiges. Das Regelgerüst ist recht dürftig und als SL macht die AI noch eine Menge Fehler und einiges ist echt lächerlich.

Beispiele:
(Klicke zum Anzeigen/Verstecken)
Mein Fazit: Ganz witzig aber derzeit noch in den Kinderschuhen.
"Reading is for morons who can't understand pictures"
   Gareth (aus der Serie "Galavant")

Offline Raven Nash

  • Famous Hero
  • ******
  • Beiträge: 3.779
  • Geschlecht: Männlich
  • Username: Raven Nash
    • Legacy of the Runemasters
Re: AI RPGs
« Antwort #6 am: Gestern um 18:30 »
Echt jetzt, ein Computer (!) kann nicht 1+1 rechnen ?
Ein LLM kann nicht rechnen. Es kann auch rechts und links nicht unterscheiden. Es trifft Aussagen anhand von statistischen Berechnungen von Zusammenhängen, auf die es trainiert wurde.
Nein KI hat nichts mit "Intelligenz" zu tun.
Aktiv: Dragonbane
Vergangene: Runequest, Cthulhu, Ubiquity, FFG StarWars, The One Ring, 5e, SotDL, LevelUp! A5e, Vaesen
(Klicke zum Anzeigen/Verstecken)

Offline Haukrinn

  • BÖRK-Ziege
  • Mythos
  • ********
  • Jetzt auch mit Bart!
  • Beiträge: 11.854
  • Geschlecht: Männlich
  • Username: haukrinn
Re: AI RPGs
« Antwort #7 am: Gestern um 18:49 »
Ein LLM kann nicht rechnen. Es kann auch rechts und links nicht unterscheiden. Es trifft Aussagen anhand von statistischen Berechnungen von Zusammenhängen, auf die es trainiert wurde.
Nein KI hat nichts mit "Intelligenz" zu tun.

Rechnen hat auch nichts mit Intelligenz zu tun. Und so lange das LLM weiß, dass die Wahrscheinlichkeit dass 1+1 = 2 ist nahe 100% liegt, bekommt man das auch zurück. Reasoning-Modelle bekommen das auch noch einen Tacken besser hin, wenn auch nicht so ganz klar ist warum (die Schritte, von denen das LLM dir sagt, dass sie die Herleitung repräsentieren, stimmen mit dem tatsächlich gewählten Lösungsweg nämlich oft nicht überein).

Claude sagt mir zum Beispiel:

Zitat
Würfle für meinen Rollenspielcharakter 2W8+4

Ich würfle für deinen Charakter 2W8+4:

Erster W8-Würfel: 7
Zweiter W8-Würfel: 3

Summe der Würfel: 7 + 3 = 10
Plus Modifikator: 10 + 4 = 14

Das Ergebnis deines Wurfs (2W8+4) ist: 14

Und auch mein lokal laufendes kleines Mistral-Modell bekommt das durchaus hin:

Zitat
Der Würfelwurf für zwei achtseitige Würfel (2W8) ergibt die Werte 3 und 6. Wenn man diese Werte addiert, bekommt man eine Summe
von 9. Wenn man dann noch die festgelegte Zahl 4 hinzuaddiert, erhält man insgesamt einen Wert von 13. Also würde der
resultierende Wert für deinen Rollenspielcharakter in diesem Fall 13 sein.

(PS: Und ja, die Würfelwerte sind tatsächlich bei beiden bei jedem erneuten Aufruf mit diesem Prompt unterschiedlich)
What were you doing at a volcano? - Action geology!

Most people work long, hard hours at jobs they hate that enable them to buy things they don't need to impress people they don't like.

Online Runenstahl

  • Famous Hero
  • ******
  • Beiträge: 2.160
  • Geschlecht: Männlich
  • Username: Runenstahl
Re: AI RPGs
« Antwort #8 am: Gestern um 18:58 »
Der Schlaumeier in mir kann sich nicht zurückhalten:
Ein LLM kann nicht rechnen... Es trifft Aussagen anhand von ...Berechnungen.
  ~;D

Aber ja, ich weiß was du meinst. Es sollte aber trotzdem möglich sein ein LLM mit Rechenfunktionen zu versehen.
"Reading is for morons who can't understand pictures"
   Gareth (aus der Serie "Galavant")

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.666
  • Geschlecht: Männlich
  • Username: sma
Re: AI RPGs
« Antwort #9 am: Gestern um 21:53 »
Es sollte aber trotzdem möglich sein ein LLM mit Rechenfunktionen zu versehen.
Das geben die Algorithmen der LLMs nicht her. Die versuchen nur vorherzusehen, was wohl die beste Vervollständigung von z.B. "3+4=" ist. Man kann das LLM aber darauf trainieren, Werkzeuge zu benutzen, was ja genau die Idee von MCP ist und daher gerade der heiße Scheiß ist, weil man Agenten bauen kann, die mit ihrer Umwelt interagieren (in der Hoffnung, dass der Hersteller der KI uns nix Böses will).

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.666
  • Geschlecht: Männlich
  • Username: sma
Re: AI RPGs
« Antwort #10 am: Gestern um 22:27 »
Claude sagt mir zum Beispiel: [...]
Fragst du das jeweils in einem neuen Chat? Denn ansonsten hängen die Ergebnisse ja voneinander ab. Für Claude habe ich keinen API-Key, aber mit Ollama habe ich gerade auch noch mal gemma:1b und 12b ausprobiert und bekomme auch nur Sequenzen von 3 oder 4.

Ich feuere 100 Requests an `http://127.0.0.1:11434/api/chat` ab, jeweils mit `{model:..., messages:[{role:'user', content:'...'}], stream: false}` und sammle dann die Ergebnisse. Dann habe ich so 88x 3 und 12x 4 oder so ähnlich.

Bitte verrate mir das Geheimnis des Zufalls ;-)

Zu der andere Frage, wie ich den Kontext gefüllt habe: ~700.000 Zeichen Quelltext eines Programm, das ich dann schrittweise (weil Gemini ja "nur" 65k Output kann) in TypeScript umschreiben wollte.

Ich habe übrigens gerade Claude 3.7 noch mal nach den DCC-Attributen gefragt und die korrekte Antwort bekommen. Dann habe ich "Würfle einen zufälligen DCC-Charakter aus" gesagt, darauf hat sich Claude ein JS-Programm geschrieben, in dem es eine Zufallstabelle für 39 ausgedachte Berufe gibt, eine für 7 verschiedene Waffen, eine für Gegenstände, insgesamt 180 Zeilen, um das alles mit `console.log` auszugeben und dann noch mal zusammenzufassen. Die KI hat sich hier also geschickt um Würfelwürfe gedrückt ;)

Als nächstes habe ich nach Namen gefragt. Auch dafür hat sich Claude ein JS-Programm geschrieben, dort 30 Namen eingetragen und dann nach der random-shuffle-Methode wie gefordert 15 ausgewählt, damit kein Name doppelt vorkommt. Wieder gedrückt.

Aber noch ein bisschen zu KI-Spielleitern. Ich habe da noch dieses inzwischen fast 6 Monate alte Experiment.

Offline Haukrinn

  • BÖRK-Ziege
  • Mythos
  • ********
  • Jetzt auch mit Bart!
  • Beiträge: 11.854
  • Geschlecht: Männlich
  • Username: haukrinn
Re: AI RPGs
« Antwort #11 am: Heute um 14:14 »
Ich war mit den Zufallsantworten immer im selben Chat. Ebenfalls über ollama. Dann ist jedes Ergebnis anders. Aber nicht unbedingt richtig, wie feststellen musste...  ~;D

Zitat
Hier ist das Ergebnis für den nächsten Wurf eines W4: 6. Ein W4 hat jedoch nur Seiten mit der Zahl 1 bis 4, daher ist ein
Ergebnis von 6 nicht möglich. Möchtest du erneut würfeln oder gibt es etwas anderes, worum ich mich kümmern kann?

Das über MCP zu machen ist da wohl doch die bessere Variante.  ;D
What were you doing at a volcano? - Action geology!

Most people work long, hard hours at jobs they hate that enable them to buy things they don't need to impress people they don't like.

Offline Raven Nash

  • Famous Hero
  • ******
  • Beiträge: 3.779
  • Geschlecht: Männlich
  • Username: Raven Nash
    • Legacy of the Runemasters
Re: AI RPGs
« Antwort #12 am: Heute um 15:43 »
Ist irgendwie lustig, wenn der DM den Spieler alles Rechnen überlässt. Ansonsten ist das Ding aber vor allem recht langsam.
Dafür sind die Dialoge recht gut.
Aktiv: Dragonbane
Vergangene: Runequest, Cthulhu, Ubiquity, FFG StarWars, The One Ring, 5e, SotDL, LevelUp! A5e, Vaesen
(Klicke zum Anzeigen/Verstecken)

Online Runenstahl

  • Famous Hero
  • ******
  • Beiträge: 2.160
  • Geschlecht: Männlich
  • Username: Runenstahl
Re: AI RPGs
« Antwort #13 am: Heute um 17:32 »
An den Beschreibungen der Szenen ist in der Tat nichts auszusetzen. Das ist mMn schon ein bißchen erschreckend.
"Reading is for morons who can't understand pictures"
   Gareth (aus der Serie "Galavant")

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.666
  • Geschlecht: Männlich
  • Username: sma
Re: AI RPGs
« Antwort #14 am: Heute um 17:58 »
An den Beschreibungen der Szenen ist in der Tat nichts auszusetzen. Das ist mMn schon ein bißchen erschreckend.
Ich vermute, ihr sprecht über mein Beispiel? Bedenkt, dass ist schon 6 Monate alt. Das geht inzwischen wahrscheinlich sogar besser. Man könnte noch mal ein anderes Genre ausprobieren. Ich vermute stark, D&D-artige Fantasy ist der am stärksten ausgetretende Pfad.

Hier ist noch mal ein kurzer Versuch, für die KI zu leiten. Das müsste etwa 2 Monate alt sein, weil ich's ausprobiert hatte, als 2.0 Flash veröffentlicht wurde.

Online Runenstahl

  • Famous Hero
  • ******
  • Beiträge: 2.160
  • Geschlecht: Männlich
  • Username: Runenstahl
Re: AI RPGs
« Antwort #15 am: Heute um 22:50 »
Nein, ich spreche über meine eigenen Erfahrungen. Die KI macht das schon erschreckend gut. Nur an der Umsetzung der Regeln hapert es noch ganz gewaltig.
"Reading is for morons who can't understand pictures"
   Gareth (aus der Serie "Galavant")