Es gibt nicht den Königsweg, aber mein Vorschlag wäre:
1. Überlegen, was man will und warum...In deinem Fall wäre das: Warum passen die DnD-Regeln mir nicht so? Sind das Details oder stehe ich allgemein nicht auf taktisches Gehäcke? Was will ich stattdessen? Mach eine Liste mit Dingen, die dein System können/haben soll.
1b. Überlegen, ob es das schon gibt...Lese viele Systeme. Starte vielleicht irgendwo einen Thread mit "Ich möchte ein System mit dies und das und jedem... ...kennt ihr da was?". Wenn du ein System findest, dass deinen Ansprüchen zu 80-90% genügt, nimm das und bau 2-3 Hausregeln dazu.
2. Grundlagen überlegen...Überlege bei jeder neuen Regel oder Idee, ob es mit der Liste aus 1 vereinbar ist. Wenn du "erzählerische Freiheit" willst, aber 20 Kampfsondermanöver bastelst, läuft was schief... ...wenn "komplexe, taktische Herausforderung" auf der Liste steht, könnte das richtiger sein. Wie hoch soll die Sterblichkeit der SCs sein? Wie lang darf ein Kampf dauern? Sind die SCs "legendäre Helden" oder "normale Menschen"? Bei jeder Regel, die du erfindest, frag dich: Wie wirkt sich das aufs Spiel aus? Habe ich dadurch mehr taktische Optionen? Macht es das Spiel schneller oder langsamer? Beschränkt oder ermöglicht es kreative Erzählungen?
3. Früh Feedback holen...Mach dir keine rechtlichen Sorgen. Die Welt steht ja fest, du entwirfst quasi fast ein Universalsystem... ...du müsstest ja nichtmal Ebberon irgendwo im PDF erwähnen und die werden sich auch kein TM auf Rassennamen oder sowas besorgt haben.
Also mach möglichst früh einen Thread mit "Hallo, mein System soll das und das können, das und das habe ich mir dazu überlegt". Meistens ist es sogar sinnig, dass schon zu machen, bevor du überhaupt irgendwas hast.
Dann wiederholst du solange Schritt 2 und 3, bis du fertig bist...