# robots.txt – Doppelpunkt · https://www.doppelpunkt.de
#
# Strategie (Stand 2026):
# - Such- und KI-Assistenten, die Sichtbarkeit und Traffic bringen, sind
#   ausdruecklich ERLAUBT. Dazu zaehlen u. a. Google (inkl. Gemini / AI Overviews
#   ueber das Token "Google-Extended"), Bing/Copilot, ChatGPT-Suche, Perplexity,
#   Apple Intelligence und Claude. Ein Ausschluss dieser Bots wuerde uns aus den
#   KI-Antworten oberhalb der Suchergebnisse entfernen und dem Ranking schaden.
# - Fuer ALLE gesperrt ist nur der Redaktions-/Admin-Bereich (/neocontent/) sowie
#   der maschinenlesbare Datenfeed fuer Drittsysteme (/export/, z.B. SmartCity).
# - Aggressive Scraper, Website-Downloader und E-Mail-Harvester bleiben gesperrt.

# --- Standard: alle uebrigen Bots duerfen crawlen (ausser Admin-Bereich) -----
User-agent: *
Disallow: /neocontent/
Disallow: /export/

# --- Erwuenschte Such- & KI-Bots: ausdruecklich erlaubt ----------------------
# Mehrere "User-agent"-Zeilen vor einem Regelblock gelten gemeinsam fuer alle
# genannten Bots (robots.txt-Standard). Sie erhalten dieselbe Regel wie "*":
# alles erlaubt, nur /neocontent/ gesperrt.
# WICHTIG: Pfad-Sperren, die fuer ALLE gelten sollen, muessen auch hier ergaenzt
# werden, da benannte Bot-Gruppen die "*"-Regeln nicht zusaetzlich erben.
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Google-Extended
User-agent: Bingbot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: anthropic-ai
User-agent: DuckDuckBot
User-agent: Amazonbot
Disallow: /neocontent/
Disallow: /export/

# --- Aggressive / schaedliche Bots: komplett aussperren ----------------------

# ByteDance-Crawler (sehr aggressiv, ignoriert Crawl-Limits haeufig)
User-agent: Bytespider
Disallow: /

# Kommerzielle SEO-/Backlink-Crawler ohne Nutzen fuer uns (Serverlast, Wettbewerb)
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# Website-Downloader / Offline-Ripper
User-agent: WebZip
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebReaper
Disallow: /

# E-Mail-Harvester / Adress-Sammler
User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CherryPicker
Disallow: /

# --- Sitemaps ----------------------------------------------------------------
Sitemap: https://www.doppelpunkt.de/sitemap.xml
Sitemap: https://www.doppelpunkt.de/sitemap-news.xml