Thema: Artwork für Rollenspiel Produkte durch eine KI berechnen lassen ?

[Mr. Ohnesorge]

Cool!

Magst du uns die Prompts mitteilen?

[Oasenseppel]

Midjourney scheitert selbst mit Referenzbildern so gnadenlos an Sandwürmern...

[Sphinx]

Hatte es in den falschen Thread gepackt, deshalb verschiebe ich es mal hierhin.
-----

Bin mittlerweile etwas in den neusten Stable diffusion trend eingesteigen "Controlnet". https://github.com/lllyasviel/ControlNet
Das eröffnet so eine Vielzahl an Möglichkeiten einem schwindlig wird. Ganz grob man schaltet Stable diffusion ein weiteres neuronales Netz vor das Bildanalyse durchführt. Man gibt ihm z.B. ein Bild, lässt Controlnet die Kanten erkennen und daraus dann ein neues Bild erstellen. Oder man gibt eine Position vor die ein Charakter haben soll und das generierte Bild übernimmt das genau so.
Oder man kann damit effektiv den Stiel ändern, von Schwarz Weiß in Farbe, von Picasso zu Rembrandt,....

Hier wird z.B. das Bild genommen, die Position des Charakters rausgefunden und dann damit ein neues Bild nach Prompt erstellt:


Hier ohne mit Bild zu trainieren hab ich einfach ein Photo von mir reingeworfen mit dem promt "drawing of a man with blue hair and beard"

Jup sieht aus wie ich nur mit Blauen haaren und Bart. Auch das Fachwerk im Hintergrund hat er übernommen und neu interpretiert.

Aitrepreneur hat ein recht ausführliches Video was geht wenn man mehrere Controlnet instanzen vorschaltet und auch ein paar Videos zu den Grundlagen
https://www.youtube.com/watch?v=MDHC7E6G1RA

[Grummelstein]

Habe versucht mit Nightcafe (Stable Diffusion) einen ähnlichen Cartoon Wizard wie oben mit MJ generieren zu lassen.
Ähnliche Prompts: cartoon, wizard, male, human, chubby, bald, friendly, smiling, green robe... aber ich habe das ganze zusätzlich in der Style Kategorie Anime laufen lassen und den Prompt Tintin mit angegeben.



Nicht schlecht. Auf den ersten Bildern fehlt das freundliche lächeln, auf dem dritten lächelt er irgendwie wie ein Tim & Struppi Schurke. 
Aber die Kleidung wurde nicht einmal an die Prompts angepasst. Nichtmal die Farbe wurde verändert.

[LushWoods]

Sorry, wenn das schon mal angesprochen wurde, aber hier sind Midjourney Bilder recht eindrucksvoll mit Animationen (Upwork) verbunden.
Auch ziemlich cool, wie ich finde.
https://www.youtube.com/watch?v=Mpnhd-TyCO0

[Uebelator]

Cool!

Magst du uns die Prompts mitteilen?

Bissl spät, aber besser als nie... Hab die Prompts im Post ergänzt.

[Mr. Ohnesorge]

[Doc-Byte]

Irgndwie ist hier so ziemlich alles besser als das, was ich aus Stable Diffusion 2.1 rausgeholt habe. Trotz Negativ Promt sind korrekte Gesichter, Arme, Hände und selbst Beine nach wie vor ein Lotteriespiel und wenn man versucht, eine ganze Personengruppe zu erzeugen, ist praktisch immer irgendwo was falsch. Ich hab dann versucht, das mit Stable Inpainting weiter zu verfeiern, aber obwohl eigentlich nur der markierte Bereich neu erstellt werden soll, habe ich festgestellt, dass der Rest des Bildes mit jedem Durchlauf immer verwaschener wird und nach spätesten 3 bis 5 Schritten dieser Art unbrauchbar wird.

Am Ende haben dann dutzende an Versuchen ein akzeptables Bild erbracht, der Rest war leider als Ganzes nie wirklich zufriedenstellend, auch wenn die Bilder teilweise echt gute Ansätze hatten:

(Klicke zum Anzeigen/Verstecken)

Vielleicht war "Pen and Paper" einfach nicht die optimale Bildbeschreibung... Man merkt doch recht deutlich, dass die KI nicht so ganz "verstanden" hat, worum es geht. Bezeichnend für das Trainigsmaterial finde ich allerdings, dass die KI immer wieder mal ältere Männer generiert, aber nie ältere Frauen. - Von Diversität mal ganz zu schweigen.

[tartex]

Alos, wenn ihr Gesichter noch voll symmetrisch wären, hätten die doch gar keine Grund rollenzuspielen. 

[Uebelator]

Holy shit...
Ich hab gerade mal aus Neugier für Coriolis "The dark between the stars" als Prompt eingegeben und das Ergebnis ist viel besser, als ich erwartet hätte. Klar, ist irgendwie Space-Sauron, aber ich finds super.

[Uebelator]

Nochmal ordentlich mit den Prompts gespielt und huiuiui... Midjourney kann echt dazu gebracht werden, nahezu fotorealistische Portraits raus zu werfen...


portrait of a 30-year-old space-pirate in futuristic environment, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a villainous 30-year-old man in futuristic environment, uniform, clean shaven, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a smiling 40-year-old arabic man in futuristic environment, shady gangster, shades, stubble, flamboyant, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a 40-year-old arabic man in futuristic environment, shady dealer, slick hair, stubble, flamboyant, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a 30-year-old arabic man in futuristic environment, wild hair, glasses, engineer, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a 30-year-old arabic man in futuristic environment, strong, bodyguard, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a 30-year-old arabic man in futuristic environment, strong, bodyguard, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of a 40-year-old arabic man in futuristic environment, skinny, ornate robes, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4


portrait of an italian female starship-pilot in a factory, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination --uplight --v 4

[Seraph]

Wow, die Entwicklung ist echt umwerfend!

[Doc-Byte]

Nochmal ordentlich mit den Prompts gespielt und huiuiui... Midjourney kann echt dazu gebracht werden, nahezu fotorealistische Portraits raus zu werfen...

[...]portrait of a 30-year-old space-pirate in futuristic environment, clear facial features, Cinematic, 35mm lens, f/1.8, accent lighting, global illumination

Und hier die selbe Eingabe bei Stable Diffusion:



Keine Ahnung, woher die KI das geholt hat, aber ich find's irgendwie witzig. Aber insgesamt betrachtet, produziert Stable Diffuision ne Menge Mist, wenn man Personen abbilden möchte und die Beschreibung wird auch gerne mal "frei interpertiert". Landschaften kann man mit etwas herumspielen aber ganz brauchbare erzeugen. Vor allem jetzt, wo die Basisfunktion kostenlos geworden ist. Da kann man ganz entspannt rumprobieren.

[Sphinx]

Und hier die selbe Eingabe bei Stable Diffusion:
---
Keine Ahnung, woher die KI das geholt hat, aber ich find's irgendwie witzig. Aber insgesamt betrachtet, produziert Stable Diffuision ne Menge Mist, wenn man Personen abbilden möchte und die Beschreibung wird auch gerne mal "frei interpertiert". Landschaften kann man mit etwas herumspielen aber ganz brauchbare erzeugen. Vor allem jetzt, wo die Basisfunktion kostenlos geworden ist. Da kann man ganz entspannt rumprobieren.

Die Sache ist StableDiffusion sagt erst mal gar nix mehr aus und ist nur die Technik wie die Netze erstellt wurden. Das Netz das man verwendet macht da schon erheblich mehr aus.
Hab mal deine Promts übernommen und das jeweils erste bild genommen das generiert wurde. Das hier verwendete Netz ist EpiHyperphotogodess + Lora: EpiNoiseOffset

(Klicke zum Anzeigen/Verstecken)

Aber ja SD ist definitiv komplexer als Midjourney. MJ holt aus kurzen Promts schon sehr gute Bilder raus und reicht für die meisten auch völlig aus.
Was allerdings jetzt Controlnet ermöglicht katapultiert SD für mich weit nach vorne, mehr es ermöglicht so übelst krasse Möglichkeiten, die man nie mit einem Promt alleine hinbekommen wurde.

[Doc-Byte]

Die Sache ist StableDiffusion sagt erst mal gar nix mehr aus und ist nur die Technik wie die Netze erstellt wurden.

Okay, dann sollte ich korrekter sagen: Ich arbeite mit dem Webinterface von Nightcafe.studio und nutze darüber Stable Diffusion.

Vermutlich gibt es längst bessere Möglichkeiten, ans Ziel zu gelangen, aber immerhin habe ich der KI jetzt ein paar Bilder entlockt, die ich etwas optimistisch als "Concept Art" bezeichne:

(Klicke zum Anzeigen/Verstecken)

Entspricht recht grob meinen Vorstellungen, zeigt aber zumindest die ungefähre Richtung, in die es geht und ist damit mMn besser als gar nichts.

(Hinweis: Das Hintergrundbild entstammt dem "Worlds Without Number Art Pack".)

[Skeeve]

Okay, dann sollte ich korrekter sagen: Ich arbeite mit dem Webinterface von Nightcafe.studio und nutze darüber Stable Diffusion.

Dann lieber von https://github.com/cmdr2/stable-diffusion-ui den Installations-Kram für Stable-Diffusion ziehen und das ganze auf dem eigenem Rechner installieren.
Ich habe mir eben kurz das Webinterface von Nightcafe.studio angeschaut... es gibt zwar ein paar neuronale Netze zu Auswahl, aber die Auswahl ist ja doch etwas eingeschränkt.
Ich hatte mir im Januar hier lokal ein paar Netze von https://civitai.com/ gezogen und in meine lokale Installation geworfen... aber wo kommen auf einmal die ganzen Anime/Manga-Netze her? Im Januar konnte man da noch leichter was "ordentliches" finden:
https://civitai.com/models/3816/protogen-x53-photorealism-official-release
https://civitai.com/models/4118/spybgs-toolkit-for-digital-artists
und anderes...

Ich glaube die meisten meiner Bilder sind mit der 3.5-Version vom spybgs-toolkit entstanden. Aber kaum schaut man mal einige 2 Monate nicht auf civitai.com vorbei... soll ich mir jetzt vom spybgs-toolkit die Version 5 runterziehen und meine Prompts nochmal dort durchjagen? Die alten Landschafts- und Stadtaufnahmen gefallen mir doch, nur die Luchs-Menschen waren etwas problematisch: entweder zuviel nackte Haut (wirklich ohne Fell) oder sie hatten Fell (ohne nackte Haut) und die Lederrüstung war noch zusätzlich mit Pelz besetzt... aber irgendwann sind da auch ordentliche Bilder entstanden...

[Skeeve]

Hmmpf... Stable-Diffusion wieder angeworfen und jetzt updatetet er sich erst mal kräftig...
Ich wollte doch nur mal kurz den Prompt von hier https://www.tanelorn.net/index.php/topic,123321.msg135146345.html#msg135146345 ausprobieren

während des Updates ist auch wieder eine schon bekannte Felhermeldung aufgetaucht:

qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "/run/media/operator/lvol-VM/stable-diffusion-ui/stable-diffusion/env/lib/python3.8/site-packages/cv2/qt/plugins" even though it was found.
This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.

Available platform plugins are: xcb, eglfs, linuxfb, minimal, minimalegl, offscreen, vnc, wayland-egl, wayland, wayland-xcomposite-egl, wayland-xcomposite-glx.

Keine Ahnung was ich davon halten soll. Kann er nun "xcb" nicht finden oder ist "xcb" nun 'available'?

[Sphinx]

Ja die Anime/Mange und Porno Netzte sind stark besonders auf civitai. Aber auch die lassen sich Teilweise mit Negativ Promts für gute Bilder nutzten.

Ich nutze aktuell für vieles
moistmix_v2
EpiHyperphotogodess
Anything-V3.0
und für RPG spezifischeres
dungeonsAndDiffusion_v3
rpg_V4

Damit man bessere Hell Dunkel Verhältnisse bekommt gebe ich aktuell noch gerne das Lora file
epiNoiseoffset_v2
mit an.

Und Controlnet ist für mich die absolute Erleuchtung. Die Optionen die das bietet sind einfach nur gut genial, sodas ich sie nicht mehr missen möchte.


Die Fehlermeldung sagt mir gar nix. Aber da die community doch ne ordentliche Größe hat, findet man nahezu zu jedem Fehler eine Antwort auf Github bei a1111.

[schneeland]

Keine Ahnung was ich davon halten soll. Kann er nun "xcb" nicht finden oder ist "xcb" nun 'available'?

Klingt für mich wie: das Modul ist da, aber defekt. Eventuell kannst Du's entfernen und wieder neu installieren?

[Zed]

Meine Fähigkeiten (und der Mangel einer Nvidia-Grafikkarte) übersteigt Kenos aktuellen Beitrag vom heise-Verlag, aber für manche mag die Übersicht How-to-Stable-Diffusion-mit-ControlNet hilfreich sein.

Er gibt auch Hinweise, wie man ohne eigenen SuperPC und stattdessen mit Kleinstbeträgen StableDiffusion nutzen kann.

[Darius der Duellant]

Es braucht nicht mal Kleinstbeträge.
Man kann den Kram auch über Google colab laufen lassen, braucht aber dann ein wenig Glück dass man eine Unit mit GPU zugeteilt bekommt

[smoki]

Ich habe in einem Artikel mal zusammengefasst, was notwendig ist um einen Konsistenten Charakter zu generieren mit Midjourney. Anhand eines Zwergen Magiers.


https://lustighoch5.de/rpg-charakter-illustrationen-midjourney/

Ich hoffe meine Tipps helfen euch, gute Charakter Fotos eurer Helden zu generieren

[Zed]

Tolle Anleitung, danke!

Wann gibt es den ersten Comic zu Rotbart, den Zwergenmagier?

[Faras Damion]

Super,  smoki! 

[tartex]

Ich habe in einem Artikel mal zusammengefasst, was notwendig ist um einen Konsistenten Charakter zu generieren mit Midjourney. Anhand eines Zwergen Magiers.

Das ist ja mein alter Rollenspiel-Händler in Gewandung.

Okay, der hatte keine 6 Finger an der linken Hand, aber sonst kommt es ziemlich genau hin.