Mir fallen schon ein paar Gründe ein, warum ein Rollenspiel besser oder schlechter sein könnte:
Die Regeln erreichen nicht, was sie explizit oder implizit erreichen sollen, die Regeln sind unnötig komliziert und beinhalten Widersprüche oder sind anderweitig nicht eindeutig, die Regeln sind übermäßig abstrakt und oberflächlich und schränken dadurch die nutzbaren Möglichkeiten ein, Der Hintergrund ist dumm oder unvollständig (Fehlen von erkennbaren Kausalen Zusammenhängen, Klischeestürme, klare Vorurteile, Fehlen von wichtigen Details...), Regeln oder Hintergrund beinhalten typische Frustrationsquellen (z.B. passive Parade, unerklärliche Geschlechterdiskriminierung, "ungerechte" Spielmechanismen), das Spiel geht davon aus, dass der Spieler oder Leser ein völliger Iodiot ist...
Und dabei bleibt der rein literarische Aspekt - von der Frage, wie etwas erklärt wird, wie anschaulich die Texte sind, wie nachvollziehbar der Hintergrund geschildert ist, die Schönheit der Sprache, der Stimmungsaufbau des Regelwerks etc. - sogar erst mal aussen vor.
Darüber hinaus halte ich den Gedanken, dass es überhaupt keine Qualitätsunterschiede gibt, für nicht zielführend und auch in keinster Weise erfreulich. Denn damit kann man effektiv jedes Streben nach Verbesserung oder Optimierung der Abläufe abbügeln und jeder Kritik, ob sie nun spezifisch an inhaltlichen Elementen oder auch nur an Regelkonstrukten fest mach, wird dadurch die Existenzberechtigung entzogen.
Es gibt gute und schlechte Rollenspiele. Es gibt nur keine Strukturen, die sich der tatsächlichen Analyse von Rollenspielen gewidmet haben und diese auch mit einer intellektuellen Autorität bewerten können. Dann ist bei relativ kleinen kulturellen Erscheinungen eben so. Ja, es ist entsprechend schwierig, sich auf Qualitätskriterien zu einigen. Zudem ist die Fähigkeit, zwischen persönlichem Geschmack und Pläsier auf der einen und tatsächlicher Qualität auf der anderen Seite zu differenzieren, nicht unbedingt immer die weitest entwickelte.
Aber, nur weil man Qualität nicht immer leicht erfassen kann (wobei das in den Extremfällen sogar geht- Beispiele dafür wären FATAL oder Racial Holy War, die tatsächlich relativ leicht als schlecht zu identifizieren sind), heißt es ja nicht, dass es keine Unterschiede gibt.