# =============================================================
# tanelorn.net -- robots.txt
# Stand: 2026-09-10
#
# WICHTIG: Jede User-agent-Gruppe wird eigenstaendig ausgewertet.
# Ein Bot mit eigener Gruppe erbt NICHTS aus "*". Wer hier eine
# Gruppe ergaenzt, muss alle Disallow-Regeln mit hineinkopieren.
#
# Mehrere User-agent-Zeilen direkt untereinander teilen sich einen
# Regelblock (RFC 9309, Abschnitt 2.2.1). Deshalb sind die Bots
# unten zu vier Gruppen gebuendelt statt einzeln aufgefuehrt.
#
# Regelaufloesung: Es gewinnt die LAENGSTE passende Regel, nicht
# die erste. Deshalb ist "Disallow: /*action=dlattach*type=avatar"
# (29 Zeichen) staerker als "Allow: /*action=dlattach" (17).
#
# Struktur:
#   Gruppe 1  *                     Standard, Suchmaschinen
#   Gruppe 2  AI-Suche              wie Standard, ohne .msg
#   Gruppe 3  AI-Training           ohne .msg, ohne Anhaenge
#   Gruppe 4  Vollstaendig gesperrt
# =============================================================


# =============================================================
# Gruppe 1 -- Standard fuer alle Bots
#
# .msg-Permalinks bleiben hier bewusst ERLAUBT: Nutzer verlinken
# einzelne Beitraege von aussen in dieser Form, und Suchmaschinen
# sollen diesen Links folgen koennen. Die Last durch .msg stammt
# nachweislich von AI-Crawlern (Juli 2026: 65-77 % des Volumens),
# nicht von Googlebot oder Bingbot.
#
# Hinweis: Googlebot wertet Crawl-delay nicht aus. Die Crawl-Rate
# fuer Google wird ueber die Search Console gesteuert.
# =============================================================
User-agent: *
Crawl-delay: 5

# Verzeichnisse mit sekundaeren Inhalten
Disallow: /avatars
Disallow: /Smileys
Disallow: /Themes
Disallow: /chat

# URLs mit sekundaeren Inhalten / Funktionen
Disallow: /*action=
Allow: /*action=dlattach
Disallow: /*action=dlattach*type=avatar
Disallow: /*PHPSESSID
Disallow: /*prev_next=
Disallow: /*sort=
Disallow: /*wap2
Disallow: /*imode


# =============================================================
# Gruppe 2 -- AI-Suche und nutzerausgeloeste Abrufe
#
# Diese Bots bauen Suchindizes bzw. holen Seiten, weil eine Person
# gerade danach gefragt hat. Sie erzeugen Sichtbarkeit und
# Verweise auf das Forum -- deshalb erlaubt.
#
# Unterschied zu Gruppe 1: .msg-Permalinks gesperrt. Der Inhalt
# ist ueber die Threadseiten vollstaendig erreichbar; die
# .msg-Form erzeugt nur Duplikate.
# =============================================================
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
Crawl-delay: 5

Disallow: /avatars
Disallow: /Smileys
Disallow: /Themes
Disallow: /chat

Disallow: /*action=
Allow: /*action=dlattach
Disallow: /*action=dlattach*type=avatar
Disallow: /*PHPSESSID
Disallow: /*prev_next=
Disallow: /*sort=
Disallow: /*wap2
Disallow: /*imode

# Beitrags-Permalinks: ~2,7 Mio URLs, die auf bereits erreichbare
# Threadseiten aufloesen
Disallow: /*msg


# =============================================================
# Gruppe 3 -- AI-Trainingscrawler
#
# Sammeln Inhalte fuer das Training generativer Modelle. Kein
# Rueckfluss an das Forum, aber hoher Lastanteil.
#
# Unterschied zu Gruppe 2: Anhaenge (action=dlattach) ebenfalls
# gesperrt, hoeheres Crawl-delay.
#
# UMSTELLUNG AUF VOLLSPERRUNG: Den gesamten Regelblock unter den
# User-agent-Zeilen durch eine einzige Zeile ersetzen:
#     Disallow: /
# Wirkt laut Anthropic nur nach vorn; bereits gesammelte Inhalte
# werden dadurch nicht rueckwirkend entfernt.
# =============================================================
User-agent: ClaudeBot
User-agent: GPTBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: ImagesiftBot
User-agent: Timpibot
User-agent: YouBot
User-agent: omgili
User-agent: omgilibot
Crawl-delay: 10

Disallow: /avatars
Disallow: /Smileys
Disallow: /Themes
Disallow: /chat

Disallow: /*action=
Disallow: /*PHPSESSID
Disallow: /*prev_next=
Disallow: /*sort=
Disallow: /*wap2
Disallow: /*imode

Disallow: /*msg


# =============================================================
# Gruppe 4 -- Vollstaendig ausgeschlossene Crawler
#
# SEO-Analyse, Marktforschung, Scraping ohne erkennbaren Nutzen
# fuer das Forum.
# =============================================================
User-agent: AhrefsBot
User-agent: baiduspider
User-agent: BLEXBot
User-agent: Bytespider
User-agent: DataForSeoBot
User-agent: DotBot
User-agent: fidget-spinner-bot
User-agent: magpie-crawler
User-agent: MJ12Bot
User-agent: my-tiny-bot
User-agent: PetalBot
User-agent: SemrushBot
User-agent: serpstatbot
User-agent: trendictionbot
User-agent: YandexBot
Disallow: /