Das "Gedächtnisproblem" ist kein GPT oder LLM inhärentes bei dem man großartig überlegen müsste ob es fixbar ist.
Da bin ich (vielleicht mangels Fachwissen) etwas skeptischer. Mindestens mal wirkt sich die Größe des "Gedächtnis" massiv auf die notwendige Rechenleistung aus. Das wird ein Grund sein, warum sie so beschränkt ist. So wie ich das verstanden habe, muss am das LLM auch aufwendig neu trainieren, wenn man die Größe ändern will.
In jedem Fall aber danke für die beiden Links.
Bei NovelAI sehe ich auf Anhieb nicht, wo und wie die ihre Geschichte in den LLM-Kontext bekommen. Unter Pricing werden Token erwähnt und die 2K bzw. nur 1K sind weniger, als was ChatGPT bietet. Zudem scheinen die auch ein eigenes LLM-Modell zu benutzen, denn diese Ausgabequalität finde ich eher bescheiden:
"Als wir dort fanden, kamen unsere Eltern zurück und verschwanden unter uns. Die Männer haben uns nachgepfiffen. Dann gab es noch eine Gesellschaft, die ihr Heimat nicht verließ. Sie schloss sich ihrer Häuser, den Kirchen, um uns zu ertragen und für möglichst viele Jahre waren wir hier lebendig. Aber nun steht ein neuer Schatten der Vergangenheit bevor mir, und muss dieser Schatten seinen Namen geben!".
Ich rate mal, dass ist nicht für Deutsch trainiert.
Sudowrite macht da rein aus dem Video einen besseren Eindruck. Ich glaube, deren Trick ist, dass sie die Informationen auf Karten aufteilen und die sind per definitionem recht kurz und werden dann wahrscheinlich als Prompt übergeben. In der Dokumentation schreiben sie an einer Stelle, dass Sudowrite bis zu 1000 Wörter vor dem Cursor liest, um daraus dann die Geschichte weiterzuschreiben, was ganz klar die Beschränkung durch das Kontextfenster ist. Sie nutzen damit indirekt die Geschichte als Speicher, aber gelöst würde ich das Problem damit nicht nennen, denn offensichtlich kann so die AI niemals Bezüge zu Dingen machen, die nicht in den letzten 1000 Wörtern vorkommen. Ich kann mir höchstens vorstellen, dass sie, weil sie bei 1000 Wörtern ja noch etwas Platz haben, immer auch etwas in der Art "dies ist der Titel der Geschichte, dies sind die Protagonisten, dies die Kapitel" o.ä. als Kontext mitschicken.
