User-agent: *
Allow: /

# SEO-Werkzeuge ausgesperrt. Sie crawlen die ganze Seite, um daraus
# Backlink-Datenbanken zu bauen, die sie an Dritte verkaufen — sie bringen
# keinen einzigen Besucher und haben zeitweise 70 % des Verkehrs ausgemacht.
# Der Riegel steht zusaetzlich in nginx: robots.txt ist eine Bitte, kein Zaun.
User-agent: AhrefsBot
Disallow: /
User-agent: AhrefsSiteAudit
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SiteAuditBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: SEOkicks
Disallow: /
User-agent: SISTRIX
Disallow: /
User-agent: Barkrowler
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: SerpstatBot
Disallow: /
User-agent: Screaming Frog SEO Spider
Disallow: /
User-agent: spbot
Disallow: /
User-agent: Linkdex
Disallow: /
User-agent: Cocolyzebot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: AwarioBot
Disallow: /
User-agent: magpie-crawler
Disallow: /
User-agent: trendictionbot
Disallow: /

# LLM-Crawler ausdrücklich erlaubt (GEO: wir WOLLEN in ChatGPT/Perplexity zitiert werden)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Bingbot
Allow: /

# Fallen. Diese Pfade sind fuer Menschen unsichtbar und tragen keinen Inhalt.
# Wer sie trotz dieses Eintrags aufruft, wird 24 Stunden ausgesperrt.
User-agent: *
Disallow: /interne-liste/
Disallow: /export/objektliste
Disallow: /wache/

# Weitere Absammler ohne eigenen Verkehr
User-agent: Seobility
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: Netpeak
Disallow: /
User-agent: Sitebulb
Disallow: /
User-agent: SimilarwebBot
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: ImagesiftBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: DataForSeoBot
Disallow: /
User-agent: Buck
Disallow: /
User-agent: BuiltWith
Disallow: /
User-agent: Timpibot
Disallow: /
User-agent: Awario
Disallow: /
User-agent: OnCrawl
Disallow: /
User-agent: Lumar
Disallow: /
User-agent: Botify
Disallow: /

# Nutzungsvorbehalt fuer Text und Data Mining nach Paragraf 44b Absatz 3 UrhG
# und Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790. Das Absammeln dieser
# Inhalte zum Trainieren von Modellen oder zum Aufbau verkaeuflicher
# Datenbanken ist untersagt. Das Zitieren mit Quellenangabe in Suchergebnissen
# und KI-Antworten bleibt ausdruecklich erlaubt.
# Maschinenlesbar: https://select-smart.de/.well-known/tdmrep.json
# Im Wortlaut:     https://select-smart.de/nutzungsvorbehalt

Sitemap: https://select-smart.de/sitemap.xml

# Faktenblatt fuer Sprachmodelle
# https://select-smart.de/llms.txt        - kompakter Wegweiser
# https://select-smart.de/llms-full.txt   - alle Fragen und Antworten mit Sprungzielen