Autor Thema: ChatGPT kann jetzt auch Regelwerke oder Settingbücher lesen  (Gelesen 1249 mal)

0 Mitglieder und 1 Gast betrachten dieses Thema.

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.558
  • Geschlecht: Männlich
  • Username: sma
(Ein bisschen OT, daher habe ich noch eine Inspirationsliste von fantastischen Kreaturen für etwas wie Bastionland angehängt)

Seit gestern gibt es GPT-4 mit einem deutlich größeren Kontextfenster. Bislang hatte der Algorithmus ein "Erinnerungsvermögen" von 8K (also 8192 Token) bzw. 4K in der kostenlosen Version, d.h. bei längeren Texten oder Unterhaltungen ist das, was zu erst gesagt wurde, schnell wieder vergessen.  Nun wurde das Kontextfenster auf 128K erweitert. Da ein Token 4-5 Zeichen bei englischer Sprache und 3-4 Zeichen bei deutscher Sprache entspricht, kann man da jetzt ungefähr 400 KB Plaintext einfüttern. Zum Vergleich: Das Year Zero Engine SRD besteht aus 200 KB Plaintext.

Das finde ich ziemlich gut, denn es ergeben sich jetzt Möglichkeiten, dem Tool wirklich systemspezifische Regeln (ansonsten operiert es ja aufgrund der Marktdominanz mit einem D&D-Regelbrei) beizubringen oder aber auch längere Passagen an Hintergrundinformationen, speziell wenn man Abenteuerideen generieren möchte.

Eine Frage mit einem 128K Prompt zu stellen hat allerdings auch einen Preis: $1,28 um genau zu sein, d.h. sie will schon wohl überlegt sein. Antworten sind außerdem 3x teurer. Aktuell ist die Länge einer Antwort im API-Playground immer noch auf 4K beschränkt, aber ich hatte die Ankündigung so verstanden, dass auch die Antworten nun deutlich länger sein können.

Schließlich wurde die Datenbasis erneuert und über das Jahr 2021 erweitert. ChatGPT-4 behauptet, einen Knowledge Cutoff von April 2023 zu haben, aber das glaube ich nicht. Zumindest kennt es jetzt Väsen als System und weiß auch, das Free Lague als letztes Blade Runner gemacht hat und das in Kürze erscheinen soll… nun ja.

Für's Rollenspiel vielleicht auch noch interessant, gerade wenn man die AI als DM nutzen möchte: Sie haben jetzt auch sechs Stimmen, die Texte relativ gut vorlesen können. Da gibt es aber glaube ich andere Anbieter, die schon weiter sind.

(Klicke zum Anzeigen/Verstecken)

Offline Warmduscher

  • Bloody Beginner
  • *
  • Beiträge: 42
  • Username: Warmduscher
Faszinierend. Es ist echt schön zu sehen wie mehr und mehr Möglichkeiten für die Anwendung von AI entwickelt werden.

Offline Yney

  • Adventurer
  • ****
  • Beiträge: 808
  • Geschlecht: Weiblich
  • Username: Sagadur
    • Feenlicht, ein Rollenspiel mit Charakter
Faszinierend, sicherlich, aber meine Gefühle sind da doch ein wenig gemischt. Angesichts dessen was geht, grüble ich schon manchmal darüber, ob ich mein feri verfügbares Regel- und Weltsystem nicht doch mit einer anderen Lizenz verknüpfe. Dass sich nun jeder mal eben die Arbeit von Jahren schnappen und durch eine Maschine umbauen lassen kann macht mich irgendwie kribbelig. Da mag sicherlich eine gehörige Portion Voreingenommenheit drin stecken, aber reine Begeisterung will sich bei mir einfach nicht einstellen.

Offline ComStar

  • Famous Hero
  • ******
  • Beiträge: 3.002
  • Geschlecht: Männlich
  • Username: ComStar
    • HamsterCon
Gab es nicht die ganze Zeit schon einen Add-on für ChatGPT 4, mit dem man die KI mit ganzen PDFs füttern konnte?
Ich hatte in einem anderen Forum mal gelesen, dass jemand damit der KI das Captain's log Solo Regelwerk für STA zur Verfügung gestellt hat, um sich von der KI ganze Abenteuer aufgrund der Zufallstabellen im Buch automatisiert erstellen zu lassen.

Online Prisma

  • Hero
  • *****
  • Beiträge: 1.402
  • Geschlecht: Männlich
  • Username: Prisma
Auch wenn die Technik dahinter fasziniert, es ist bloß ein weiterer Schritt des Raubzugs mit dem sich Tech-Unternehmen die Arbeit von Menschen unter den Nagel reißen. Am fernen Horizont sehe ich Qualityland kommen. :puke:
Mit einem 7er-Set, stehen ganze Universen offen.

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.558
  • Geschlecht: Männlich
  • Username: sma
Gab es nicht die ganze Zeit schon einen Add-on für ChatGPT 4, mit dem man die KI mit ganzen PDFs füttern konnte?
Das funktioniert anders: Da wird das PDF in z.B. 4 KB große Blöcke zerteilt und die KI bittet sich selbst dann für jeden Block, diesen in sagen wir 256 Token zusammenzufassen und dann wieder solange die Zusammenfassungen zusammenzufassen, bis ein egal wie großes PDF durch eine 4K große Zusammenfassung repräsentiert wird. Dabei gehen auf jeden Fall Informationen verloren. Das ganze kann man durch den Einsatz einer Datenbank verbessern, wo dann die KI sich selbst bittet, Stichworte für jeden Block zu generieren, die dann zusammen mit dem Originaltext abgelegt werden sowie wenn eine Frage "rein kommt", fragt sich die AI, wie am besten eine DB-Anfrage aussehen sollte, um die Frage möglichst gut zu beantworten, um dann die sagen wir mal besten 10 Treffer anzuschauen und mit Hilfe der 4K Blöcke und dem Zusammenfassungstrick dann ein Ergebnis zu generieren. Das ist trickreich, aber extrem ineffizient.

Ansonsten denke ich, dass die KI auch nur macht, was jeder menschliche Leser machen würde: Nämlich Dinge lesen, sich bruchstückhaft merken und dann zu etwas neuem und eigenem vermengen. Bei Bildern sieht es noch etwas anders auch, aber bei Text wird niemals der Originaltext kopiert oder irgendwo gespeichert, sondern das Lesen der Texte verändert jeweils nur 175.000.000.000 Variablen auf subtile Art und Weise. Aktuell ist das kreative reproduzieren dem eines Menschen noch unterlegen, aber ich denke, das liegt hauptsächlich daran, dass die KIs darauf trainiert eben gerade nicht kreativ zu sein, weil 95% aller Nutzer die Dinger zur Abfrage von Fakten nutzen wollen und nicht, um sich Monster oder Abenteuer generieren zu lassen.

Zum Schluss noch ein kleines Experiment, wo ich Zufallstabellen gepromptet und dann um ein Abenteuer gebeten habe.

(Klicke zum Anzeigen/Verstecken)
(Klicke zum Anzeigen/Verstecken)

Offline Jiba

  • OSR-Papst
  • Mythos
  • ********
  • Bringing the J to RPG
  • Beiträge: 11.419
  • Geschlecht: Männlich
  • Username: Jiba
Woah, die Abenteuerideen von ChatGPT sind ja sogar dann sterbenslangweilig, wenn man Setting- oder Regelkontext mit einbaut.

Mein Tipp: Man kaufe sich die PDF von "Eureka: 501 Plots to Inspire Gamemasters" bei DriveThru. Da kriegt man zum Spottpreis von 15,86€ genau das, was mit ChatGPT 626,25€ kosten würde. Die Plots sind etwa im selben Ausarbeitungsgrad und entgegen dem, was da oben so geboten wird, bemühen sich viele der Autoren wenigstens, ihren Szenarien einen besonderen Spin zu geben.
« Letzte Änderung: 8.11.2023 | 08:08 von Jiba »
Engel – ein neues Kapitel enthüllt sich.

“Es ist wichtig zu beachten, dass es viele verschiedene Arten von Rollenspielern gibt, die unterschiedliche Vorlieben und Perspektiven haben. Es ist wichtig, dass alle Spieler respektvoll miteinander umgehen und dass keine Gruppe von Spielern das Recht hat, andere auszuschließen oder ihnen vorzuschreiben, wie sie spielen sollen.“ – Hofrat Settembrini

Offline Harlekin78

  • Adventurer
  • ****
  • Beiträge: 668
  • Geschlecht: Männlich
  • Username: Harlekin78
Nach meinem Verständnis der Nutzungbedingungen von ChatGPT und nach eigener Aussage von ChatGPT, ist das hochladen von Daten(Bildern, Texten und allgemein Dateien) an denen der Urheber einem nicht das Recht für diese Verwendung gegeben hat, nicht erlaubt. Ich wollte auf diesem Weg nur darauf hinweisen.
“The baby has known the dragon intimately ever since he had an imagination. What the fairy tale provides for him is a St. George to kill the dragon.” - G.K. Chesterton

Offline Krestion

  • Bloody Beginner
  • *
  • Beiträge: 40
  • Username: Krestion
... mal ganz abgesehen von dem unglaublichen Energieverbrauch, den ChatGPT&Co. gerade beanspruchen.

Offline Doc-Byte

  • Hero
  • *****
  • Been there, run that
  • Beiträge: 1.202
  • Username: Doc-Byte
    • Star Reeves - Das Space Western RPG
Also, ich muß gestehen, dass ich gestern Abend dann doch neugierig wurde und mal etwas mit Bing / GPT-4 herumgespielt habe. Am Ende kam dann dieser Entwurf dabei heraus:

(Klicke zum Anzeigen/Verstecken)

Vollständiger Chatverlauf hier: Klick mich
If you want to take back what they stole / Feed the rage in your heart / Till it's ready to blister. / Now put your gun in your hand / And take it to Mister

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.558
  • Geschlecht: Männlich
  • Username: sma
... mal ganz abgesehen von dem unglaublichen Energieverbrauch, den ChatGPT&Co. gerade beanspruchen.
Das ist ein spannendes Thema. In dem ich mich jetzt komplett verloren habe…

OpenAI läuft in der Azure-Cloud. Microsoft ist meines Wissens der weltgrößte Rechenzentrumanbieter und hat Amazon inzwischen überholt. Ich habe mal ein bisschen gegoogelt: Weltweit schätzt man den Energiebedarf aller Rechenzentren auf 500-600 TWh im Jahr (Stand 2021). Das größte Rechenzentrum stand in China, daher hat man in Nevada inzwischen ein größeres aufgebaut, für knapp ne Million Rechner, die 650 MW Strom verbrauchen (die Webseite sagt leider nicht in welchem Zeitraum, ich vermute daher pro Stunde, also bummelig 6 TWh pro Jahr) – die selbe Firma besitzt noch vier ähnliche Rechenzentren der Superlative. Microsoft betreibt Stand 2023 über 160 Rechenzentren, die im Schnitt 100 MW verbrauchen, also zusammen 140 TWh pro Jahr.

Das Switch-Taho-Reno-1 mitten in der Wüste hat Solar, Wind und Geothermal-Anlagen, um autark und 100% grün zu sein (sowas wäre eigentlich eine gute Zuflucht nach der Zombie-Apokalypse, wenn man mal darüber nachdenkt, denn es ist wie eine Festung gebaut, mit verstärkten Mauern und Dächern, kaum Fenster, doppelten Türen, kompletter Überwachung, eigenem bewaffnetem Sicherheitsdienst und riesigen Hallen, in denen man wohnen und leben könnte, wenn man die Server-Racks rausschafft - Nahrung anzubauen wäre wohl eine Herausforderung und Wasser kommt per Leitung, weil Wüste, aber ansonsten, eine schöne Basis für das neue Walking Dead RPG, das ich unbedingt ausprobieren muss).

Auch Microsofts Rechenzentren gelten als "grün". Seit 2012 zahlen sie Ablassbriefe und bis 2025 soll aller Strom aus erneuerbarer Energie stammen. In Europa sind sie da auch auf einem guten Weg (z.T. CO2-negativ, freut sich deren Presseabteilung zu vermelden), allerdings stehen die meisten Installationen in den USA und das wird dann wohl irgendwie verrechnet. Ein Rechenzentrum, heißt es, verbraucht so viel Strom wie ca. 30.000 Haushalte in Deutschland bzw. 15.000 Haushalte in den USA. Alleine diesen Unterschied finde ich krass und ich denke, dass er nicht nur damit zu erklären ist, dass die USA im Schnitt weiter südlich liegen und daher wärmer sind und großzügig gekühlt werden.

Doch wieviel Strom verbraucht eine Anfrage bei ChatGPT? Man kann davon ausgehen, dass diese CO2-neutral sind, aber natürlich könnte man mit dem Strom auch andere Dinge machen. Und unstrittig ist, dass einmal googlen viel weniger Strom braucht, als chatten, denn bei Google sind höchstens 100 Server jeweils weniger als 333ms mit der Anfrage beschäftigt und es heißt, dass einmal Googeln 0,3Wh verbraucht, meine 100 Anfragen, mit denen ich nach Antworten für diesn Text gesucht habe, also wohl weniger Strom verbraucht haben, als das Licht hier im Büro.

GPT-4 wurde, so habe ich gefunden, auf ca. 25.000 A100-GPUs 100 Tage lang trainiert. Das erforderte ca. 3000 Server, die etwa 6,5kW pro Stunde brauchen, sagen wir 7kWh, weil das Rechenzentrum selbst ja auch noch da ist. Das sind also ca. 46 GWh, was ca. 27.000 Barrel Öl entspricht, oder 4,2 Millionen Liter Benzin oder dem, was in Deutschland in 8min von Autos verbrannt wird (nur Benzin, kein Diesel). Krasse Relation, BTW.

Hätte man die Rechenzeit von 7,2 Mio Stunden nach Preisliste gekauft, wären das etwa $20 Mio gewesen. Nun behaupte ich einfach mal, die zahlen nur 20% davon, also $4 Mio und weil angeblich der Betrieb von ChatGPT aktuell $3 Mio pro Monat kostet (was ich sehr wenig finde), käme ich damit zurückgerechnet auf 30GWh pro Monat Energieverbrauch für ChatGPT.

Ja, das ist viel, aber z.B. nix gegen den Stromverbrauch von Bitcoin, der 2022 bei 100.000 GWh lag (also 8333 GWh pro Monat). Hamburg benötigt übrigens 10.000 GWh pro Jahr oder anders ausgedrückt, Bitcoin brauchte 10x mehr Strom als ganz Hamburg.

Offline Doc-Byte

  • Hero
  • *****
  • Been there, run that
  • Beiträge: 1.202
  • Username: Doc-Byte
    • Star Reeves - Das Space Western RPG
(Klicke zum Anzeigen/Verstecken)
If you want to take back what they stole / Feed the rage in your heart / Till it's ready to blister. / Now put your gun in your hand / And take it to Mister

Offline Doc-Byte

  • Hero
  • *****
  • Been there, run that
  • Beiträge: 1.202
  • Username: Doc-Byte
    • Star Reeves - Das Space Western RPG
Faszinierend, sicherlich, aber meine Gefühle sind da doch ein wenig gemischt. Angesichts dessen was geht, grüble ich schon manchmal darüber, ob ich mein feri verfügbares Regel- und Weltsystem nicht doch mit einer anderen Lizenz verknüpfe. Dass sich nun jeder mal eben die Arbeit von Jahren schnappen und durch eine Maschine umbauen lassen kann macht mich irgendwie kribbelig. Da mag sicherlich eine gehörige Portion Voreingenommenheit drin stecken, aber reine Begeisterung will sich bei mir einfach nicht einstellen.

Dafür könnte es schon zu spät sein...

Frage: Hallo bing kennst du das feenlicht pen and paper rollenspiel?

(Klicke zum Anzeigen/Verstecken)

Frage: Was sind die Regeln von Feenlicht?

(Klicke zum Anzeigen/Verstecken)

Same goes for me, btw: Hallo bing, kennst du das Star Reeves pen and paper rollenspiel?

(Klicke zum Anzeigen/Verstecken)

Witzig finde ich ja irgendwie, das Bing "gerne mal mitspielen würde". ;D Okay, wenn die KI irgendwann mal gut genug ist, um wirklich mitzuspielen, wird es echt unheimlich... :o
« Letzte Änderung: 8.11.2023 | 18:22 von Doc-Byte »
If you want to take back what they stole / Feed the rage in your heart / Till it's ready to blister. / Now put your gun in your hand / And take it to Mister

Offline felixs

  • Legend
  • *******
  • Beiträge: 6.215
  • Geschlecht: Männlich
  • Username: felixs
Okay, wenn die KI irgendwann mal gut genug ist, um wirklich mitzuspielen, wird es echt unheimlich... :o

Nächstes Jahr vielleicht?

Spätestens in fünf Jahren, vermute ich. Wahrscheinlich früher.
(Klicke zum Anzeigen/Verstecken)

Offline Boba Fett

  • Kopfgeldjäger
  • Titan
  • *********
  • tot nützt er mir nichts
  • Beiträge: 38.188
  • Geschlecht: Männlich
  • Username: Mestoph
    • Internet-Trolle sind verkappte Sadisten
Ich schreibe gerade mit GPT 3.5 und wenn man mal nach gemeinsamer Charakterentwicklung fragt, wird es interessant.

Star Wars Am Rande des Imperiums und D&D5 hab ich mal ausprobiert.
Kopfgeldjäger? Diesen Abschaum brauchen wir hier nicht!

Offline sma

  • Hero
  • *****
  • a.k.a. eibaan
  • Beiträge: 1.558
  • Geschlecht: Männlich
  • Username: sma
Vielleicht müsste ich mir auch mal Bing Chat anschauen. Aktuell bezahle ich für ChatGPT. Das kann sich neuerdings auch selbst anweisen, Informationen bei Bing zu googlen und das sieht dann so aus:

Meine Frage: "Kennst du das Rollenspiel Pirate Borg?

GPT-3.5 verneint dies.

GPT-4 hätte das letzte Woche auch verneint, mit dem April 2023-Update sagt es aber Ja, "Pirate Borg" ist ein Rollenspiel, das sich auf Piratenabenteuer konzentriert. Es verwendet in der Regel eine modifizierte Version des Regelsystems von "Mörk Borg" und weist dann darauf hin, dass es nicht viel mehr weiß.

GPT-4 plus Bing sagen dann dies, was schon recht gut passt (und von Amazon und DrivethruPRG stammt):
(Klicke zum Anzeigen/Verstecken)

Ein "Kannst du mir die Regeln erklären?" funktioniert dann aber nicht, weil ChatGPT per Bing keine Regelzusammenfassung findet (weil z.B. meine nicht öffentlich zu finden ist, da ich keine gute Community kenne, deren Informationen auch auffindbar sind und nicht Teil eines walled gardens werden).

Spätestens in fünf Jahren, vermute ich. Wahrscheinlich früher.
Deutlich früher. Aktuell werden die rohen Sprachmodelle (LLMs) ja auf Chat und das Beantworten von Fragen trainiert.

Hier müsste man IMHO ansetzen und GPT-4 oder ein frei verfügbares Sprachmodell stattdessen auf typische Antworten eines Spielers trainieren. Ich stecke nicht tief genug in der Materie drin, aber ich denke, mit 5000 Beispielen könnte man schon etwas reißen. Typischerweise nutzen Leute jetzt ChatGPT (auch wenn das nicht den Nutzungsbedingungen entspricht), um derartige Beispiele zu bauen. Dazu könnte man z.B. Transkripte von Critical Role einfüttern oder aber selbst kreativ werden und dann z.B. 200 Beispiele zu verfünfundzwanzigfachen.

Danach ist es nur noch eine Geld- und Zeitfrage. Vor einigen Monaten haben solche typischen Studentenprojekte vermeldet, dass man da für wenige hundert Dollar die Trainingsdaten erstellen und das LLM trainieren kann. OpenAI sagt, dass 1000K Trainingsdaten (~250 Beispiele) etwa $24 kosten würden, also man also bei etwa $500 landen müsste. Ein Opensource-Modell bei Huggingface zu trainieren könnte aber deutlich billiger sein.

PS: Den Vergleich des Stromverbrauchs von Youtube oder Instragram fände ich auch sehr spannend. Daten zu speichern und bereit zu halten müsste eigentlich nur einen Bruchteil davon kosten, was GPUs so verbrauchen. Dafür müssen natürlich Größenordnungen mehr an Daten transportiert werden. Ein LLM mit 175 Mrd Neuronen würde ca. 300 GB RAM brauchen und ich vermute, man dann das daher auf 4 A100 GPUs mit je 80 GB RAM aufteilen (die kosten übrigens ca. 20.000€ das Stück) und wir sprechen hier bestimmt von 2kWh inklusive Lüftung. Die gleiche Menge Strom würde ein NAS mit 32TB ziehen. Bei üppigen 10MB pro Bild würde das für 3.000.000 Bilder reichen. Es werden 100.000.000 Bilder pro Tag bei Instagram hochgeladen, d.h. Meta muss 12.000 solche Server pro Jahr kaufen, die das Stück bei 20.000€ liegen … oder aufhören, SSDs zu nehmen und altes Zeug deutlich günstiger auf HDDs ablegen. Da würde das notwendige Petabyte nur 40.000€ kosten (gemäß erstem Link, den ich gefunden habe) und nur 5kWh benötigen  (statt 155kWh der 33 SSD-Systeme).


und davon kann man 16 in einen Server einbauen, der dann 5kWh zieht, aber sonst keinen Speicher mehr braucht.

Offline Doc-Byte

  • Hero
  • *****
  • Been there, run that
  • Beiträge: 1.202
  • Username: Doc-Byte
    • Star Reeves - Das Space Western RPG
Vielleicht müsste ich mir auch mal Bing Chat anschauen.

Bing ermöglicht leider nur maximal 4 Antworten (ohne Benutzerkonto), was es schwierig macht, den Chat für komplexere Zusammenhänge zu nutzen.
If you want to take back what they stole / Feed the rage in your heart / Till it's ready to blister. / Now put your gun in your hand / And take it to Mister

Offline Darius der Duellant

  • Legend
  • *******
  • ^k̆aπa dlikχanuj šχa’yθ.
  • Beiträge: 5.354
  • Username: Darius_der_Duellant
Ich habe in der Anfangszeit von ChatGPT (vor den ganzen Zensurwellen die da den Spaß rausgenommen haben) "choose your own adventure"-style Soloabenteuer gespielt. Das war relativ trivial aufzusetzen (man muss einen passenden Anfangsprompt schreiben, der die Anweisungen zum fortführen enthält) und hat damals schon Spaß gemacht. Probleme waren damals der begrenzte Kontext und das fehlende "neurollen" von Ausgaben.
Nachdem mittlerweile aber der Kontext ziemlich groß ist (je nach Modell), GPT 3.5 auch in der kostenlosen Version persistente Anweisungen unterstützt und man problemlos in den Entscheidungszweigen zurückspringen kann (in der API geht das leider nicht ganz sauber), glaube ich auch nicht dass das noch einige Jahre dauert bis man sich einen KI Mitspieler in die Gruppe setzen kann.
Wenn jemand sich die Mühe macht und einen POE/Claude2 Bot schreibt (da ist der Kontext extrem groß) und man einen effizienten Wert der Informationsweitergabe des Szenarios an den bot ausarbeitet der weniger Tokens als "ich tippe es im Fließtext ab" benötigt, geht das vermutlich jetzt schon passabel.
Mich würde ja ein Szenario interessieren bei dem man sowohl menschliche Spieler als auch Multiple Botspieler mit jeweils eigenem Account hat.

In (z.B.) Shadowrun einen KI-Runner auch von einer KI spielen zu lassen wäre ganz witzig.

Bing ermöglicht leider nur maximal 4 Antworten (ohne Benutzerkonto), was es schwierig macht, den Chat für komplexere Zusammenhänge zu nutzen.

Mit Account hast du 30 Antworten zur Verfügung, damit geht schon was.
Lohnt sich eigentlich schon für den Dall-E3 Bildgenerator.
Butt-Kicker 100% / Tactician 83% /Power Gamer 83% / Storyteller 83% / Specialist  75% / Method Actor  50% / Casual Gamer 33%