Es gäbe viele Möglichkeiten, Magie und ihre Wirkung resp. ihren Einfluss im Worldbuilding zu beschränken:
1) Grundsätzlich kann man sich überlegen, welche Klassen von Magie es überhaupt gibt.
Man könnte sich auf gewisse Klassen an Magie beschränken. Magie könnte bspw. lediglich auf kurzfristige Kontrolle beschränkt sein:
Man kann Dinge und Wesen in ihrem Verhalten für gewisse Zeit kontrollieren ("betören", "vertreiben", "beschwören"). Voraussetzung, diese Magie zu wirken ist neben mentalen Fähigkeiten eine jahrelange Ausbildung. Dadurch reduziert sich die Zahl derer, die Magie betreiben erheblich.
Weiters kann man die Beherrschbarkeit dieser Form der Magie recht komplex gestalten: Ja, Du kannst als Level1 Jahrmarktszauberer auch Dämonen beschwören, allerdings reicht deine Kraft nicht aus, den Dämon zu beherrschen und als unkontrollierter Seiteneffekt, bezahlst Du mit Deinem Leben.
2) Man könnte sich Gedanken um die Quelle der Magie machen.
Statt Magie quasi als physikalische Kraft zu betrachten, die "einfach so da ist", könnte man auch sagen, dass Magie in dieser Welt generell eine Form von "Macht" darstellt, die einem nur von "finsteren Mächten" gewährt werden kann. Und jeder Magiespruch führt unweigerlich dazu, dass man seine geistig moralische Stabilität untergräbt, quasi: Schritt für Schritt auf die "Dunkle Seite" wechselt.
Das führt unter anderem dazu, dass Magie nicht nur von einer ausgesuchten Magierkaste benutzt und eventuell beherrscht wird, sondern generell schon "verdächtig" und "anrüchig" ist. Nicht nur, dass der moralische Verfall dazu führt, die Magiewirkenden aus der Gesellschaft quasi auszuschließen - da sie offensichtlich nicht am Wohl der Gesellschaft interessiert sind; sie fangen auch an, Intrigen zu spinnen, um auf Kosten ihrer Gegner ihren Einfluss zu erhöhen. In einer solchen Welt wäre es vielleicht ein Fluch, Magier zu sein und ein Grund als Kind verstoßen zu werden.
Rituale werden dann in Form von Blutmagie gewirkt. Jeder, der einen Magier für etwas beauftragt, muss mit einem Blutopfer bezahlen und verliert auch selbst geistige und moralische Stabilität.
In einer solchen Welt läge die Magie unter strenger sozialer Kontrolle durch die Gesellschaft und die Peergroup.
Eine Herausforderung wäre es in einer solchen Welt, Magier zu sein und irgendwie rechtschaffen bleiben zu wollen, mit dem Wissen, dass trotz jeder guten Tat durch Magie man den unweigerlichen Verfall nicht aufhalten und man irgendwann verloren ist.
3) Ergänzend könnte man sich Gedanken machen, wer welche Art von Magie wirken kann
Je nach "Daseinsform" kann es unterschiedliche Arten von Magie geben.
* Menschen beherrschen Kontrollmagie
* Elfen beherrschen körperliche Magie (Heilung, quasi die "Apotheker" und "Ärzte")
* Damönen beherrschen Kontrolle und Schaden (was impliziert, dass wenn ein Magier einen Schadzauber wirken will, sie implizit immer einen Dämon beschwören müssen, der die Wirkung zustande bringt)
* Drachen beherrschen Kontrolle, körperliche Magie und Hellsicht.
* Götter beherrschen jegliche Form von Magie
* Orks können warme Luft zum Stinken bringen (SCNR)
Das alles wären Möglichkeiten, den Magiegrad niedrig zu halten, da nur gewisse Gruppen Teile des magischen Spektrums abdecken und je nach Ausprägung der Welt ist Magie mit einem zu hohen Preis versehen, um Magiewirken überhaupt erstrebenswert erscheinen zu lassen.