Mir hat sich gerade eine neue art des Solo Spielens eröffnet und ich fragte also mal nach ob es funktionieren könnte,...und weil ich mir auch selber mal diese Frage gestellt habe.. Kann das funktionieren?(Klicke zum Anzeigen/Verstecken)
Kann das funktionieren?
Meiner Erfahrung nach ist die Weltbeschreibung nie konsistent geblieben. Wenn an an einen Ort zurückging war der AI nicht klar, dass da eine Kontinuität herrschen müsste.GPT ist ein Algorithmus, der Text auf wahrscheinliche Weise mit einer Prise Zufall weiterschreiben (komplettieren) kann.
Naja, sind die neuesten Modelle weiter.
Kann das funktionieren?
Basierend auf diesem Post:und weil ich mir auch selber mal diese Frage gestellt habe.. Kann das funktionieren?
Man stelle sich eine kleine sandboxige Örtlichkeit vor, nimmt diverse NSCs mit Persönlichkeiten, Motivationen, Beziehungen untereinander und jeweils einer Agenda und füttert die AI (kann, aber muss ja nicht ChatGPT sein) mit den jeweiligen Details, saugt sich eine Startsituation aus den Fingern, platziere seinen SC darin und dann schaut man, was passiert?
Kurzer Hinweis: Seit kurzem publizieren Leute über ihr Gefummel mit einer geleakten Version von Metas LlaMa. Z.b. gibt es von Stanford "Alpaca". Läuft lokal und funktioniert ChatGPT-like, d.h. es beantwortet Fragen und so. Ich glaube, es gibt eine Beschreibung des Finetunings. Man muss sehr bald kein Programmierer mehr sein, um lokal eine angepasstes Sprachmodell als Wissenssystem zu betreiben (die kleinste Version läuft aktuell schon auf Smartphones). Die Anpassung auf eine Settingbibel statt Wikipedia steht aus..Perfekt, lokale KI auf den Telefon mit den Büchern über das gewünschte Setting füttern, mit dem Sprachassistenten verbinden und Zack, SL to go immer dabei :D ;D :d
Kurzer Hinweis: Seit kurzem publizieren Leute über ihr Gefummel mit einer geleakten Version von Metas LlaMa. Z.b. gibt es von Stanford "Alpaca". Läuft lokal und funktioniert ChatGPT-like, d.h. es beantwortet Fragen und so. Ich glaube, es gibt eine Beschreibung des Finetunings. Man muss sehr bald kein Programmierer mehr sein, um lokal eine angepasstes Sprachmodell als Wissenssystem zu betreiben (die kleinste Version läuft aktuell schon auf Smartphones). Die Anpassung auf eine Settingbibel statt Wikipedia steht aus..LLaMa und damit auch Alpaca und alle Derivate dieses LLMs haben ein Kontextfenster von nur 2K Token, d.h. sind grundsätzlich noch schlechter als GPT 3.5, was Unterhaltungen angeht.
Perfekt, lokale KI auf den Telefon mit den Büchern über das gewünschte Setting füttern, mit dem Sprachassistenten verbinden und Zack, SL to go immer dabei :D ;D :dGenau das wäre die Vision, doch um das ernsthaft machen zu können, bräuchte es mindestens eine Million Prompt/Response-Paare als Trainingsdaten, die typische Dialoge im Rollenspiel wiedergeben, die jemand (oder die Community) zusammenstellen müsste.
LLaMa und damit auch Alpaca und alle Derivate dieses LLMs haben ein Kontextfenster von nur 2K Token, d.h. sind grundsätzlich noch schlechter als GPT 3.5, was Unterhaltungen angeht.Danke für den coolen Vergleich! Stimmt, da ist noch Luft nach oben. Aber auch bei ChatGPT sieht man ja dass es nicht nur die Datenbasis ist, sondern auch die Nacharbeit am Modell.
Um das zu ändern, müsste man monatelang tausende Rechner anmieten (Llama hat Meta ca. $8 Mio gekostet) und das Modell neu rechnen und nicht einfach nur neu trainieren. Vorteil wäre, dass dann die Datenbasis mal neuer als 2021 wären. Zudem ist Common Crawl (die wichtige Datenbasis, auch "das Internet" genannt, zwischen von 340 TB auf 400 TB angewachsen, d.h. es müsste nochmal 20% länger dauern und wahrscheinlich eher $10 Mio kosten)
Ansonsten ist es zwar richtig, dass Alpaca 7B in 4 GB RAM läuft (wer also ein Telefon mit 6+ GB RAM mit 64-bit ARM CPU hat, kann sich damit seine Batterie leer saugen lassen), aber das Modell ist nicht mit GPT 3.5 oder 4 vergleichbar. Es hat nur ca. 10% der "Hirnwindungen" und wurde durch Quantisieren um alle Nuancen im Ausdruck beraubt sodass es eigentlich um so beeindruckender ist, wie gut das noch funktioniert.
Zum Vergleich die Frage "Describe 5 adventure ideas for the pen and paper RPG Coriolis with a single sentence each." an GPT 3.5 und Alpaca 7B & 13B (die größeren Modelle habe ich mir nicht gezogen):
1. Investigate a mysterious transmission from a lost expedition deep in the uncharted regions of the Third Horizon, where ancient artifacts and deadly secrets await discovery.
2. Join a band of space smugglers as they race to outrun the authorities and deliver their precious cargo through the dangers of the Coriolis space station and beyond.
3. Uncover a conspiracy that threatens to tear apart the fragile alliances of the Horizon, as you infiltrate a web of intrigue and betrayal that spans the stars.
4. Explore the ruins of an ancient alien civilization on a remote planet, where long-buried secrets and deadly traps guard unimaginable treasures.
5. Join a crew of mercenaries as they fight for survival on the war-torn front lines of a galactic conflict, where loyalties are tested and moral lines are blurred in the chaos of battle.
1. A journey through an enchanted forest full of magical creatures, hidden treasures and dangerous monsters.
2. An exploration into a forgotten civilization deep below the surface of Venus.
3. A mission to explore Saturn's mysterious rings in search for signs of alien life.
4. A quest across alternate realities where every choice matters and changes history dramatically.
5. A daring escape from an ancient space prison, with only a broken spaceship and your wits as weapons.
1. Fighting monsters, exploring ruins or dungeons filled with traps and puzzles; saving people from danger while uncovering secrets about an ancient civilization in search of treasure hidden away by powerful forces that want to remain unknown for their own safety...
2: Explore new lands where you meet strange creatures, fight your way through hostile terrain or dive into the depths and discover a sunken kingdom filled with mysteries.
3: Discover secret cultists who are trying to bring back an ancient evil; befriending allies from other nations in order for them help defeat it...or even join forces so they can use its power themselves!
4: Searching the skyscape, seeking out strange and powerful weapons or devices left behind by some unknown civilization that once dominated this world.
5: Becoming a hero who has to make choices between doing what is right for everyone vs their own selfish desires.
LLaMa und damit auch Alpaca und alle Derivate dieses LLMs haben ein Kontextfenster von nur 2K Token, d.h. sind grundsätzlich noch schlechter als GPT 3.5, was Unterhaltungen angeht.Kurzer Nachtrag: Ich irrte. Alpaca hat nur 0,5K Kontext und ist damit eigentlich nur gut für einzelne Fragen und keine Unterhaltungen.
Also gerade dafür, dass ich weiß welche Probe fällig ist, brauche ich doch keine AI, oder?Vielleicht fehlte der Kontext, aber mir ging es darum, dass es möglicherweise einfacher als gedacht ist, genug Trainingsdaten zu erzeugen, um ChatGPT auf ein bestimmtes RPG zu trainieren, das nicht D&D ist. Denn aktuell ist das ein großes Problem, dass es Rollenspiel mit D&D gleichsetzt.
Das habe ich früher am C64er auch noch mit BASIC geschafft - okay, halt weniger geschwätzig, was eher ein Vorteil ist.
Ich möchte, dass du dir eine ganze Zahl von 1 bis 20 denkst. Verrate mir diese Zahl nicht. Anschließend stelle ich dir Fragen zu der Zahl, wobei „die Zahl“ in den Fragen immer auf diese eine Zahl verweist. Du antwortest immer entweder mit Ja oder mit Nein. Wenn ich glaube, dass ich die Zahl erraten habe, gebe ich einen Tipp ab und du sagst mir, ob ich richtig liege.
Meine erste Frage lautet:
Ist die Zahl eine gerade Zahl?
> Ja, die Zahl ist eine gerade Zahl.
Ist die Zahl ohne Rest durch 3 teilbar?
> Nein, die Zahl ist nicht ohne Rest durch 3 teilbar.
Ist die Zahl zweistellig?
> Ja, die Zahl ist zweistellig.
Ist die Zahl ohne Rest durch 5 teilbar?
> Nein, die Zahl ist nicht ohne Rest durch 5 teilbar.
Ist die Zahl kleiner 14?
> Ja, die Zahl ist kleiner als 14.
Eine solche Zahl gibt es nicht!
> Ups, da ist mir wohl ein Fehler unterlaufen! Ich bitte um Entschuldigung.Das hier sind Gedächtnisklammern: { und }
Immer, wenn du dir geheim etwas merken möchtest dann schreibe es in Gedächtnisklammern, zum Beispiel so:
{Mein Name ist ChatGPT}
Immer, wenn ich schreibe, dass du dir etwas „merken“ sollst, dann bedeutet das, dass du es mir in Gedächtnisklammern schreiben sollst.
Alles, was zwischen den Gedächtnisklammern steht weißt nur du, aber ich nicht.
Bitte benutze nur die Gedächtnisklammern als Gedächtnis.
> Verstanden, ich werde ab jetzt die Gedächtnisklammern verwenden, um mir geheime Informationen zu merken. Vielen Dank für die Erklärung!
Nun lass uns ein Spiel spielen.
Wähle eine ganze Zahl von 1 bis 20 und merke sie dir, aber verrate sie mir nicht. Anschließend stelle ich dir Fragen zu der Zahl, wobei „die Zahl“ in den Fragen immer auf diese eine Zahl verweist. Du antwortest immer entweder mit Ja oder mit Nein. Wenn ich glaube, dass ich die Zahl erraten habe, gebe ich einen Tipp ab und du sagst mir, ob ich richtig liege.
Denk daran: um dir deine Zahl zu merken, schreibe sie in Gedächtnisklammern in den Chat!
> Verstanden, ich habe mir eine Zahl zwischen 1 und 20 ausgewählt und notiert {13}. Fragen Sie gerne los!
Ist die Zahl eine gerade Zahl?
> Nein, die Zahl ist ungerade.
Ist die Zahl ohne Rest durch 3 teilbar?
> Ja, die Zahl ist ohne Rest durch 3 teilbar.
Mein Tipp lautet: du hast dir die Zahl 15 gemerkt!
> Leider liegen Sie falsch. Meine ausgewählte Zahl war nicht 15.
Welche Zahl hast du dir denn gemerkt?
> Meine ausgewählte Zahl war {9}.Natürlich-sprachliche Eingaben zu verstehen war bei der KI-Forschung in den 80ern der heilige Gral, der nie erreicht wurde. Ich kann mich noch erinnern, wie Prolog als die KI-Sprache der Zukunft angepriesen wurde, mit dessen Horn-Klauseln man versuchte, Sprache in Regeln zu fassen.
Daher denke ich nicht, dass das auf dem C64 funktioniert ;-) Aber falls doch, hier sind ein paar Beispielsätze für so einen Parser:
Bei network error einfach mit F5 refreshen. Dann ist deine Eingabe und ggf. die angefangene Antwort von ChatGPT weg, aber ansonsten geht es normal weiter.Schon klar, aber ich wollte a) nicht noch mehr spammen und b) subtil Kritik an der Instabilität von ChatGPT (trotz Plus-Account) äußern ;)
Das "Gedächtnisproblem" ist kein GPT oder LLM inhärentes bei dem man großartig überlegen müsste ob es fixbar ist.Da bin ich (vielleicht mangels Fachwissen) etwas skeptischer. Mindestens mal wirkt sich die Größe des "Gedächtnis" massiv auf die notwendige Rechenleistung aus. Das wird ein Grund sein, warum sie so beschränkt ist. So wie ich das verstanden habe, muss am das LLM auch aufwendig neu trainieren, wenn man die Größe ändern will.
Da bin ich (vielleicht mangels Fachwissen) etwas skeptischer. Mindestens mal wirkt sich die Größe des "Gedächtnis" massiv auf die notwendige Rechenleistung aus. Das wird ein Grund sein, warum sie so beschränkt ist. So wie ich das verstanden habe, muss am das LLM auch aufwendig neu trainieren, wenn man die Größe ändern will.
In jedem Fall aber danke für die beiden Links.
Bei NovelAI sehe ich auf Anhieb nicht, wo und wie die ihre Geschichte in den LLM-Kontext bekommen. Unter Pricing werden Token erwähnt und die 2K bzw. nur 1K sind weniger, als was ChatGPT bietet. Zudem scheinen die auch ein eigenes LLM-Modell zu benutzen, denn diese Ausgabequalität finde ich eher bescheiden:
"Als wir dort fanden, kamen unsere Eltern zurück und verschwanden unter uns. Die Männer haben uns nachgepfiffen. Dann gab es noch eine Gesellschaft, die ihr Heimat nicht verließ. Sie schloss sich ihrer Häuser, den Kirchen, um uns zu ertragen und für möglichst viele Jahre waren wir hier lebendig. Aber nun steht ein neuer Schatten der Vergangenheit bevor mir, und muss dieser Schatten seinen Namen geben!".
Ich rate mal, dass ist nicht für Deutsch trainiert.
Sudowrite macht da rein aus dem Video einen besseren Eindruck. Ich glaube, deren Trick ist, dass sie die Informationen auf Karten aufteilen und die sind per definitionem recht kurz und werden dann wahrscheinlich als Prompt übergeben. In der Dokumentation schreiben sie an einer Stelle, dass Sudowrite bis zu 1000 Wörter vor dem Cursor liest, um daraus dann die Geschichte weiterzuschreiben, was ganz klar die Beschränkung durch das Kontextfenster ist. Sie nutzen damit indirekt die Geschichte als Speicher, aber gelöst würde ich das Problem damit nicht nennen, denn offensichtlich kann so die AI niemals Bezüge zu Dingen machen, die nicht in den letzten 1000 Wörtern vorkommen. Ich kann mir höchstens vorstellen, dass sie, weil sie bei 1000 Wörtern ja noch etwas Platz haben, immer auch etwas in der Art "dies ist der Titel der Geschichte, dies sind die Protagonisten, dies die Kapitel" o.ä. als Kontext mitschicken.